Para eksekutif dan peneliti yang memimpin upaya AI Meta terobsesi untuk mengalahkan model GPT-4 OpenAI saat mengembangkan Llama 3, menurut pesan internal dibuka segelnya oleh pengadilan pada hari Selasa dalam salah satu kasus hak cipta AI yang sedang berlangsung perusahaan, Kadrey v. Meta.
“Sejujurnya… Sasaran kami haruslah GPT-4,” kata VP Generative AI Meta, Ahmad Al-Dahle, dalam pesan pada bulan Oktober 2023 kepada peneliti Meta Hugo Touvron. “Kami memiliki 64 ribu GPU yang akan datang! Kita perlu belajar bagaimana membangun garis depan dan memenangkan perlombaan ini.”
Meskipun Meta merilis model AI terbuka, para pemimpin AI perusahaan jauh lebih fokus untuk mengalahkan pesaing yang biasanya tidak merilis bobot model mereka, seperti Anthropic dan OpenAI, dan malah menempatkan mereka di balik API. Para eksekutif dan peneliti Meta menganggap Claude dari Anthropic dan GPT-4 OpenAI sebagai standar terbaik untuk diupayakan.
Startup AI Perancis, Mistral, salah satu pesaing terbuka terbesar Meta, disebutkan beberapa kali dalam pesan internal, namun nadanya meremehkan.
“Mistral adalah hal yang mustahil bagi kami,” kata Al-Dahle dalam sebuah pesan. “Kita harusnya bisa lebih baik lagi,” ucapnya kemudian.
Perusahaan-perusahaan teknologi berlomba-lomba untuk mengungguli satu sama lain dengan model AI yang mutakhir saat ini, namun pengajuan ke pengadilan ini mengungkapkan betapa kompetitifnya para pemimpin AI di Meta — dan tampaknya hingga sekarang. Di beberapa titik dalam pertukaran pesan, pimpinan AI Meta berbicara tentang bagaimana mereka “sangat agresif” dalam mendapatkan data yang tepat untuk melatih Llama; pada satu titik, seorang eksekutif bahkan mengatakan bahwa “Llama 3 adalah satu-satunya hal yang saya pedulikan,” dalam sebuah pesan kepada rekan kerja.
Jaksa dalam kasus ini menuduh bahwa para eksekutif Meta kadang-kadang mengambil jalan pintas dalam perlombaan gila mereka untuk mengirimkan model AI, dan dalam prosesnya melatih buku-buku berhak cipta.
Touvron mencatat dalam pesannya bahwa campuran kumpulan data yang digunakan untuk Llama 2 “buruk”, dan berbicara tentang bagaimana Meta dapat menggunakan campuran sumber data yang lebih baik untuk meningkatkan Llama 3. Touvron dan Al-Dahle kemudian berbicara tentang membuka jalur untuk menggunakan kumpulan data LibGen, yang berisi karya berhak cipta dari Cengage Learning, Macmillan Learning, McGraw Hill, dan Pearson Education.
“Apakah kita memiliki kumpulan data yang benar di sana[?]kata Al Dahle. “Apakah ada sesuatu yang ingin kamu gunakan tetapi tidak bisa karena alasan bodoh?”
CEO Meta Mark Zuckerberg sebelumnya mengatakan dia mencoba untuk menutup kesenjangan kinerja antara model AI Llama dan model tertutup dari OpenAI, Google, dan lainnya. Pesan-pesan internal mengungkapkan tekanan kuat di dalam perusahaan untuk melakukan hal tersebut.
“Tahun ini, Llama 3 bersaing dengan model tercanggih dan terdepan di beberapa bidang,” kata Zuckerberg dalam a surat mulai Juli 2024. “Mulai tahun depan, kami berharap model Llama masa depan menjadi yang paling canggih di industri.”
Ketika Meta akhirnya merilis Llama 3 pada bulan April 2024, model AI terbuka bersaing dengan model tertutup terkemuka dari Google, OpenAI, dan Anthropic, dan mengungguli opsi terbuka dari Mistral. Namun, data yang digunakan Meta untuk melatih modelnya – data yang dilaporkan Zuckerberg memberi lampu hijau untuk digunakan, meskipun memiliki status hak cipta – menghadapi pengawasan ketat dalam beberapa tuntutan hukum yang sedang berlangsung.
