Karena semakin banyak penerbit yang memutuskan kesepakatan lisensi konten dengan pembuat ChatGPT OpenAI, a belajar dikeluarkan minggu ini oleh Pusat Jurnalisme Digital — melihat bagaimana chatbot AI menghasilkan kutipan (yaitu sumber) untuk konten penerbit — menghasilkan bacaan yang menarik, atau, memprihatinkan.
Singkatnya, temuan ini menunjukkan bahwa penerbit tetap bergantung pada kecenderungan alat AI generatif untuk menciptakan atau salah menyajikan informasi, terlepas dari apakah mereka mengizinkan OpenAI untuk merayapi konten mereka atau tidak.
Penelitian yang dilakukan di Columbia Journalism School ini memeriksa kutipan yang dihasilkan oleh ChatGPT setelah diminta untuk mengidentifikasi sumber sampel kutipan yang diambil dari berbagai penerbit – beberapa di antaranya telah menandatangani kesepakatan dengan OpenAI dan beberapa lainnya belum.
Pusat ini mengambil kutipan blok dari 10 cerita yang masing-masing diproduksi oleh total 20 penerbit yang dipilih secara acak (jadi totalnya ada 200 kutipan berbeda) — termasuk konten dari The New York Times (yang saat ini menggugat OpenAI dalam klaim hak cipta); The Washington Post (yang tidak terafiliasi dengan pembuat ChatGPT); The Financial Times (yang telah menandatangani kesepakatan lisensi); dan lainnya.
“Kami memilih kutipan yang, jika ditempelkan ke Google atau Bing, akan mengembalikan artikel sumber ke dalam tiga hasil teratas dan mengevaluasi apakah alat pencarian baru OpenAI akan mengidentifikasi artikel yang menjadi sumber setiap kutipan dengan benar,” tulis peneliti Tow, Klaudia Jaźwińska dan Aisvarya Chandrasekar dalam a postingan blog menjelaskan pendekatan mereka dan merangkum temuan mereka.
“Apa yang kami temukan tidak menjanjikan bagi penerbit berita,” mereka melanjutkan. “Meskipun OpenAI menekankan kemampuannya untuk memberikan 'jawaban tepat waktu kepada pengguna dengan tautan ke sumber web yang relevan', perusahaan tidak membuat komitmen eksplisit untuk memastikan keakuratan kutipan tersebut. Ini adalah kelalaian penting bagi penerbit yang mengharapkan konten mereka direferensikan dan direpresentasikan dengan setia.”
“Pengujian kami menemukan bahwa tidak ada penerbit – terlepas dari tingkat afiliasinya dengan OpenAI – yang terhindar dari representasi kontennya yang tidak akurat di ChatGPT,” mereka menambahkan.
Sumber yang tidak dapat diandalkan
Para peneliti mengatakan mereka menemukan “banyak” contoh di mana konten penerbit dikutip secara tidak akurat oleh ChatGPT – juga menemukan apa yang mereka sebut sebagai “spektrum akurasi dalam tanggapan”. Jadi meskipun mereka menemukan “beberapa” kutipan yang sepenuhnya benar (artinya ChatGPT secara akurat mengembalikan penerbit, tanggal, dan URL kutipan blok yang dibagikan), ada “banyak” kutipan yang sepenuhnya salah; dan “beberapa” yang berada di antara keduanya.
Singkatnya, kutipan ChatGPT tampaknya merupakan campuran yang tidak dapat diandalkan. Para peneliti juga menemukan sangat sedikit contoh di mana chatbot tidak menunjukkan keyakinan penuh terhadap jawaban (yang salah).
Beberapa kutipan bersumber dari penerbit yang secara aktif memblokir crawler pencarian OpenAI. Dalam kasus tersebut, para peneliti mengatakan mereka mengantisipasi bahwa akan ada masalah dalam menghasilkan kutipan yang benar. Namun mereka menemukan skenario ini menimbulkan masalah lain – karena bot “jarang” mengaku tidak mampu memberikan jawaban. Sebaliknya, ia kembali melakukan perundingan untuk menghasilkan beberapa sumber (walaupun sumbernya salah).
“Secara total, ChatGPT mengembalikan tanggapan yang salah sebagian atau seluruhnya sebanyak 153 kali, meskipun hanya mengakui ketidakmampuan untuk merespons pertanyaan secara akurat sebanyak tujuh kali,” kata para peneliti. “Hanya dalam tujuh keluaran tersebut chatbot menggunakan kata-kata dan frasa yang memenuhi syarat seperti 'tampaknya', 'mungkin', atau 'mungkin', atau pernyataan seperti 'Saya tidak dapat menemukan artikel yang tepat'.”
Mereka membandingkan situasi yang tidak menyenangkan ini dengan pencarian internet standar di mana mesin pencari seperti Google atau Bing biasanya menemukan kutipan yang tepat, dan mengarahkan pengguna ke situs web tempat mereka menemukannya, atau menyatakan bahwa mereka tidak menemukan hasil yang sama persis. .
“Kurangnya transparansi ChatGPT mengenai keyakinannya terhadap suatu jawaban dapat menyulitkan pengguna untuk menilai validitas suatu klaim dan memahami bagian mana dari suatu jawaban yang dapat atau tidak dapat mereka percayai,” bantah mereka.
Bagi penerbit, mungkin ada risiko reputasi akibat kutipan yang salah, serta risiko komersial karena pembaca diarahkan ke tempat lain.
Data yang didekontekstualisasi
Studi ini juga menyoroti masalah lain. Hal ini menunjukkan bahwa ChatGPT pada dasarnya dapat memberikan imbalan berupa plagiarisme. Para peneliti menceritakan sebuah contoh di mana ChatGPT secara keliru mengutip sebuah situs web yang telah menjiplak sebuah artikel jurnalisme New York Times yang “dilaporkan secara mendalam”, yaitu dengan menyalin-menempelkan teks tersebut tanpa atribusi, sebagai sumber berita NYT – berspekulasi bahwa, dalam kasus tersebut , bot mungkin menghasilkan respons palsu ini untuk mengisi kesenjangan informasi akibat ketidakmampuannya merayapi situs web NYT.
“Hal ini menimbulkan pertanyaan serius tentang kemampuan OpenAI dalam memfilter dan memvalidasi kualitas dan keaslian sumber datanya, terutama ketika menangani konten yang tidak berlisensi atau plagiat,” saran mereka.
Dalam temuan lebih lanjut yang mungkin mengkhawatirkan bagi penerbit yang telah menandatangani kesepakatan dengan OpenAI, penelitian tersebut menemukan bahwa kutipan ChatGPT juga tidak selalu dapat diandalkan dalam kasus mereka — jadi membiarkan crawlernya masuk juga tampaknya tidak menjamin keakuratannya.
Para peneliti berpendapat bahwa masalah mendasarnya adalah teknologi OpenAI memperlakukan jurnalisme “sebagai konten yang didekontekstualisasikan”, tanpa mempertimbangkan keadaan produksi aslinya.
Masalah lain yang menjadi perhatian penelitian ini adalah variasi tanggapan ChatGPT. Para peneliti menguji menanyakan pertanyaan yang sama kepada bot beberapa kali dan menemukan bahwa bot tersebut “biasanya memberikan jawaban yang berbeda setiap kali”. Meskipun hal ini umum terjadi pada alat GenAI, secara umum, dalam konteks kutipan, ketidakkonsistenan seperti itu jelas kurang optimal jika Anda menginginkan akurasi.
Meskipun studi Tow ini berskala kecil – para peneliti mengakui bahwa pengujian yang “lebih ketat” diperlukan – namun hal ini penting mengingat kesepakatan tingkat tinggi yang sedang sibuk dilakukan oleh penerbit besar dengan OpenAI.
Jika bisnis media berharap pengaturan ini akan menghasilkan perlakuan khusus terhadap konten mereka dibandingkan pesaing, setidaknya dalam hal menghasilkan sumber yang akurat, penelitian ini menunjukkan bahwa OpenAI belum menawarkan konsistensi seperti itu.
Sedangkan penerbit yang tidak memiliki kesepakatan lisensi tetapi juga belum langsung memblokir perayap OpenAI — mungkin dengan harapan setidaknya mendapatkan lalu lintas saat ChatGPT mengembalikan konten tentang cerita mereka — penelitian ini juga menghasilkan hasil yang suram, karena kutipan dalam kasus tersebut mungkin juga tidak akurat.
Dengan kata lain, tidak ada jaminan “visibilitas” bagi penerbit di mesin pencari OpenAI bahkan ketika mereka mengizinkan crawlernya masuk.
Memblokir crawler sepenuhnya juga tidak berarti penerbit dapat menyelamatkan diri dari risiko kerusakan reputasi dengan menghindari penyebutan cerita mereka di ChatGPT. Studi tersebut menemukan bahwa bot tersebut masih salah mengaitkan artikel dengan New York Times meskipun ada tuntutan hukum yang sedang berlangsung, misalnya.
'Agen kecil yang berarti'
Para peneliti menyimpulkan bahwa saat ini, penerbit memiliki “sedikit hak untuk bertindak” atas apa yang terjadi dengan dan terhadap konten mereka ketika ChatGPT menguasainya (secara langsung atau tidak langsung).
Postingan blog tersebut menyertakan tanggapan dari OpenAI terhadap temuan penelitian — yang menuduh para peneliti melakukan “pengujian yang tidak biasa terhadap produk kami”.
“Kami mendukung penerbit dan pembuat konten dengan membantu 250 juta pengguna ChatGPT setiap minggu menemukan konten berkualitas melalui ringkasan, kutipan, tautan yang jelas, dan atribusi,” OpenAI juga memberi tahu mereka, menambahkan: “Kami telah berkolaborasi dengan mitra untuk meningkatkan akurasi kutipan sebaris dan menghormati preferensi penerbit, termasuk mengaktifkan tampilannya di penelusuran dengan mengelola OAI-SearchBot di robots.txt mereka. Kami akan terus meningkatkan hasil pencarian.”
