Ketika Openai meluncurkan model AI “penalaran” O3-nya pada bulan Desember, perusahaan bermitra dengan pencipta Arc-Agi, tolok ukur yang dirancang untuk menguji AI yang sangat mampu, untuk memamerkan kemampuan O3. Beberapa bulan kemudian, hasilnya telah direvisi, dan mereka sekarang terlihat sedikit kurang mengesankan dari yang mereka lakukan pada awalnya.
Pekan lalu, ARC Prize Foundation, yang memelihara dan mengelola ARC-AGI, memperbarui perkiraan biaya komputasi untuk O3. Organisasi ini awalnya memperkirakan bahwa konfigurasi berkinerja terbaik dari O3 yang diuji, O3 tinggi, harganya sekitar $ 3.000 untuk memecahkan masalah busur-agi tunggal. Sekarang, Yayasan Hadiah ARC berpikir bahwa biayanya jauh lebih tinggi – mungkin sekitar $ 30.000 per tugas.
Revisi ini terkenal karena menggambarkan betapa mahalnya model AI yang paling canggih saat ini mungkin berakhir untuk tugas -tugas tertentu, setidaknya sejak dini. Openai belum harga O3 – atau merilisnya, bahkan. Tetapi Yayasan Hadiah ARC percaya harga model O1-Pro Openai adalah proxy yang masuk akal.
Untuk konteks, O1-Pro adalah model Openai yang paling mahal hingga saat ini.
“Kami percaya O1-Pro adalah perbandingan yang lebih dekat dengan biaya O3 sejati […] Karena jumlah komputasi waktu tes yang digunakan, “Mike Knoop, salah satu pendiri dari ARC Prize Foundation, mengatakan kepada TechCrunch.” Tapi ini masih merupakan proxy, dan kami telah membuat O3 berlabel sebagai pratinjau di papan peringkat kami untuk mencerminkan ketidakpastian sampai harga resmi diumumkan. “
Harga tinggi untuk O3 High tidak akan keluar dari pertanyaan, mengingat jumlah sumber daya komputasi yang dilaporkan digunakan oleh model. Menurut ARC Prize Foundation, O3 High menggunakan komputasi 172x lebih banyak daripada O3 Low, konfigurasi komputasi terendah O3, untuk mengatasi busur-AGI.
Selain itu, rumor telah terbang selama beberapa waktu tentang rencana mahal Openai sedang mempertimbangkan untuk memperkenalkan pelanggan perusahaan. Pada awal Maret, informasi melaporkan bahwa perusahaan mungkin berencana untuk mengenakan biaya hingga $ 20.000 per bulan untuk “agen” AI khusus, seperti agen pengembang perangkat lunak.
Beberapa orang mungkin berpendapat bahwa bahkan model paling mahal Openai akan dikenakan biaya dengan baik di bawah apa yang akan diperintahkan oleh kontraktor manusia atau staf yang khas. Tapi sebagai peneliti AI Toby ord ditunjukkan di pos di xmodel mungkin tidak seefisien. Misalnya, O3 High membutuhkan 1.024 upaya pada setiap tugas di ARC-AGI untuk mencapai skor terbaiknya.
