Insinyur perangkat lunak, pengembang, dan peneliti akademis memiliki keprihatinan serius tentang transkripsi dari Whisper OpenAI, menurut sebuah laporan di Associated Press.
Meskipun tidak ada kekurangan diskusi seputar kecenderungan AI generatif untuk berhalusinasi – pada dasarnya, mengarang – agak mengejutkan bahwa ini adalah masalah dalam transkripsi, di mana Anda mengharapkan transkripnya mengikuti audio yang sedang ditranskripsi.
Sebaliknya para peneliti mengatakan kepada AP bahwa Whisper telah memasukkan segala sesuatu mulai dari komentar rasial hingga perawatan medis yang dibayangkan ke dalam transkrip. Dan hal ini bisa menjadi bencana karena Whisper digunakan di rumah sakit dan konteks medis lainnya.
Seorang peneliti Universitas Michigan yang mempelajari pertemuan publik menemukan halusinasi dalam delapan dari setiap 10 transkripsi audio. Seorang insinyur pembelajaran mesin mempelajari lebih dari 100 jam transkripsi Whisper dan menemukan halusinasi di lebih dari setengahnya. Dan seorang pengembang melaporkan menemukan halusinasi di hampir semua 26.000 transkripsi yang dia buat dengan Whisper.
Juru bicara OpenAI mengatakan perusahaan tersebut “terus berupaya meningkatkan akurasi model kami, termasuk mengurangi halusinasi” dan mencatat bahwa kebijakan penggunaannya melarang penggunaan Whisper “dalam konteks pengambilan keputusan tertentu yang berisiko tinggi.”
“Kami berterima kasih kepada para peneliti karena telah membagikan temuan mereka,” kata mereka.
