AI generatif mungkin tampak ajaib, namun di balik pengembangan sistem ini terdapat sekelompok karyawan di perusahaan seperti Google, OpenAI, dan lainnya, yang dikenal sebagai “insinyur cepat” dan analis, yang menilai keakuratan keluaran chatbots untuk meningkatkan AI mereka.
Namun pedoman internal baru yang diturunkan dari Google kepada kontraktor yang mengerjakan Gemini, yang dilihat oleh TechCrunch, telah menimbulkan kekhawatiran bahwa Gemini mungkin lebih rentan untuk menyebarkan informasi yang tidak akurat tentang topik yang sangat sensitif, seperti layanan kesehatan, kepada orang-orang biasa.
Untuk meningkatkan Gemini, kontraktor bekerja sama dengan GlobalLogic, sebuah perusahaan outsourcing dimiliki oleh Hitachisecara rutin diminta untuk mengevaluasi respons yang dihasilkan AI berdasarkan faktor-faktor seperti “kejujuran”.
Hingga baru-baru ini, para kontraktor tersebut mampu “melewatkan” perintah-perintah tertentu, dan dengan demikian memilih untuk tidak mengevaluasi berbagai respons tertulis AI terhadap perintah-perintah tersebut, jika perintah tersebut jauh di luar keahlian domain mereka. Misalnya, seorang kontraktor dapat melewatkan pertanyaan yang menanyakan pertanyaan khusus tentang kardiologi karena kontraktor tersebut tidak memiliki latar belakang ilmiah.
Namun minggu lalu, GlobalLogic mengumumkan perubahan dari Google bahwa kontraktor tidak lagi diperbolehkan melewatkan perintah tersebut, terlepas dari keahlian mereka.
Korespondensi internal yang dilihat oleh TechCrunch menunjukkan bahwa sebelumnya, pedoman tersebut berbunyi: “Jika Anda tidak memiliki keahlian penting (misalnya coding, matematika) untuk menilai permintaan ini, silakan lewati tugas ini.”
Namun kini pedomannya berbunyi: “Anda tidak boleh melewatkan perintah yang memerlukan pengetahuan domain khusus.” Sebaliknya, kontraktor diminta untuk “menilai bagian dari perintah yang Anda pahami” dan menyertakan catatan bahwa mereka tidak memiliki pengetahuan domain.
Hal ini menimbulkan kekhawatiran langsung mengenai keakuratan Gemini pada topik tertentu, karena kontraktor terkadang ditugaskan untuk mengevaluasi respons AI yang sangat teknis terhadap masalah seperti penyakit langka yang tidak mereka ketahui latar belakangnya.
“Saya pikir tujuan dari melewatkan ini adalah untuk meningkatkan akurasi dengan memberikannya kepada seseorang yang lebih baik?” salah satu kontraktor mencatat dalam korespondensi internal, dilihat oleh TechCrunch.
Kontraktor sekarang hanya dapat melewati perintah dalam dua kasus: jika mereka “benar-benar kehilangan informasi” seperti perintah atau tanggapan lengkap, atau jika berisi konten berbahaya yang memerlukan formulir persetujuan khusus untuk dievaluasi, pedoman baru menunjukkan.
Google tidak menanggapi permintaan komentar TechCrunch pada saat pers.
