Kontraktor yang berupaya meningkatkan AI Gemini Google membandingkan jawabannya dengan keluaran yang dihasilkan oleh model pesaing Anthropic, Claude, menurut korespondensi internal yang dilihat oleh TechCrunch.
Google tidak akan mengatakan, ketika dihubungi oleh TechCrunch untuk memberikan komentar, apakah mereka telah memperoleh izin untuk menggunakan Claude dalam pengujian terhadap Gemini.
Ketika perusahaan-perusahaan teknologi berlomba untuk membuat model AI yang lebih baik, performa model-model ini sering kali dievaluasi dibandingkan dengan pesaing, biasanya dengan menjalankan model mereka sendiri melalui tolok ukur industri daripada meminta kontraktor dengan susah payah mengevaluasi respons AI pesaing mereka.
Kontraktor yang mengerjakan Gemini yang ditugaskan untuk menilai keakuratan keluaran model harus menilai setiap respons yang mereka lihat berdasarkan berbagai kriteria, seperti kebenaran dan verbositas. Kontraktor diberikan waktu hingga 30 menit per prompt untuk menentukan jawaban mana yang lebih baik, jawaban Gemini atau Claude, menurut korespondensi yang dilihat oleh TechCrunch.
Para kontraktor baru-baru ini mulai memperhatikan referensi tentang Claude Anthropic yang muncul di platform internal Google yang mereka gunakan untuk membandingkan Gemini dengan model AI lain yang tidak disebutkan namanya, menurut korespondensi tersebut. Setidaknya salah satu keluaran yang disajikan kepada kontraktor Gemini, dilihat oleh TechCrunch, secara eksplisit menyatakan: “Saya Claude, diciptakan oleh Anthropic.”
Salah satu obrolan internal menunjukkan bahwa kontraktor memperhatikan tanggapan Claude yang tampaknya lebih menekankan keselamatan daripada Gemini. “Pengaturan keselamatan Claude adalah yang paling ketat” di antara model AI, tulis salah satu kontraktor. Dalam kasus tertentu, Claude tidak akan merespons perintah yang dianggap tidak aman, seperti memainkan peran sebagai asisten AI yang berbeda. Dalam kasus lain, Claude menghindari menjawab perintah, sementara tanggapan Gemini ditandai sebagai “pelanggaran keamanan besar” karena menyertakan “ketelanjangan dan perbudakan.”
Antropis persyaratan layanan komersial melarang pelanggan mengakses Claude “untuk membangun produk atau layanan pesaing” atau “melatih model AI pesaing” tanpa persetujuan dari Anthropic. Google adalah investor besar di Anthropic.
Shira McNamara, juru bicara Google DeepMind, yang menjalankan Gemini, tidak menjawab — ketika ditanya oleh TechCrunch — apakah Google telah memperoleh persetujuan Anthropic untuk mengakses Claude. Ketika dihubungi sebelum publikasi, juru bicara Anthropic tidak memberikan komentar hingga berita ini dimuat.
McNamara mengatakan bahwa DeepMind “membandingkan keluaran model” untuk evaluasi tetapi tidak melatih Gemini pada model Antropis.
“Tentu saja, sejalan dengan praktik standar industri, dalam beberapa kasus kami membandingkan keluaran model sebagai bagian dari proses evaluasi kami,” kata McNamara. “Namun, saran apa pun bahwa kami menggunakan model Antropik untuk melatih Gemini tidaklah akurat.”
Pekan lalu, TechCrunch secara eksklusif melaporkan bahwa kontraktor Google yang mengerjakan produk AI perusahaan kini diminta untuk menilai respons AI Gemini di bidang di luar keahlian mereka. Korespondensi internal mengungkapkan kekhawatiran kontraktor bahwa Gemini dapat menghasilkan informasi yang tidak akurat mengenai topik yang sangat sensitif seperti perawatan kesehatan.
Anda dapat mengirimkan tip dengan aman kepada reporter ini di Signal di +1 628-282-2811.
TechCrunch memiliki buletin yang berfokus pada AI! Daftar di sini untuk mendapatkannya di kotak masuk Anda setiap hari Rabu.
