Seorang peneliti kebijakan mantan openai tinggi, Miles Brundage, Membawa ke media sosial Pada hari Rabu untuk mengkritik Openai karena “menulis ulang sejarah” dari pendekatan penyebarannya untuk sistem AI yang berpotensi berisiko.
Awal pekan ini, Openai menerbitkan a dokumen Menguraikan filosofi saat ini tentang keselamatan dan penyelarasan AI, proses merancang sistem AI yang berperilaku dengan cara yang diinginkan dan dapat dijelaskan. Dalam dokumen tersebut, Openai mengatakan bahwa mereka melihat pengembangan AGI, secara luas didefinisikan sebagai sistem AI yang dapat melakukan tugas apa pun yang dapat dilakukan manusia, sebagai “jalur berkelanjutan” yang membutuhkan “menyebarkan dan belajar secara iteratif” dari teknologi AI.
“Di dunia yang terputus -putus […] Pelajaran Keselamatan datang dari memperlakukan sistem hari ini dengan hati -hati yang terlalu besar relatif terhadap kekuatan mereka yang jelas, [which] adalah pendekatan yang kami ambil [our AI model] GPT -2, ”tulis Openai. “Kami sekarang memandang AGI pertama sebagai hanya satu titik di sepanjang serangkaian sistem peningkatan kegunaan […] Di dunia yang berkelanjutan, cara untuk membuat sistem berikutnya aman dan bermanfaat adalah belajar dari sistem saat ini. ”
Tetapi Brundage mengklaim bahwa GPT-2, pada kenyataannya, menjamin kehati-hatian yang berlimpah pada saat pembebasannya, dan bahwa ini adalah “100% konsisten” dengan strategi penyebaran iteratif Openai hari ini.
“Rilis GPT-2 Openai, yang saya lakukan, adalah 100% konsisten [with and] Foreshadowed filosofi Openai saat ini tentang penyebaran iteratif, ”Brundage menulis dalam posting di x. “Model ini dirilis secara bertahap, dengan pelajaran yang dibagikan pada setiap langkah. Banyak ahli keamanan pada saat itu berterima kasih kepada kami atas kehati -hatian ini. ”
Brundage, yang bergabung dengan Openai sebagai ilmuwan riset pada tahun 2018, adalah kepala penelitian kebijakan perusahaan selama beberapa tahun. Pada tim “AGI Kesiapan” Openai, ia memiliki fokus khusus pada penyebaran yang bertanggung jawab dari sistem generasi bahasa seperti platform chatbot AI Openai Chatgpt.
GPT-2, yang diumumkan Openai pada tahun 2019, adalah nenek moyang sistem AI yang mendukung chatgpt. GPT-2 dapat menjawab pertanyaan tentang suatu topik, merangkum artikel, dan menghasilkan teks pada tingkat yang terkadang tidak dapat dibedakan dari manusia.
Sementara GPT-2 dan outputnya mungkin terlihat mendasar hari ini, mereka mutakhir pada saat itu. Mengutip risiko penggunaan berbahaya, Openai awalnya menolak untuk merilis kode sumber GPT-2, memilih alih-alih memberikan outlet berita yang dipilih akses terbatas ke demo.
Keputusan itu bertemu dengan ulasan beragam dari industri AI. Banyak ahli berpendapat bahwa ancaman yang ditimbulkan oleh GPT-2 telah dibesar -besarkandan bahwa tidak ada bukti bahwa model dapat disalahgunakan dengan cara yang dijelaskan Openai. Publikasi yang berfokus pada AI, gradien melangkah lebih jauh dengan menerbitkan Surat terbuka Meminta rilis OpenAI bahwa model, dengan alasan itu terlalu penting secara teknologi untuk menahan diri.
Openai akhirnya merilis versi parsial GPT-2 enam bulan setelah pembukaan model, diikuti oleh sistem penuh beberapa bulan setelah itu. Brundage berpikir ini adalah pendekatan yang tepat.
“Bagian mana [the GPT-2 release] dimotivasi oleh atau didasarkan pada menganggap AGI sebagai terputus -putus? Tidak ada yang, “katanya dalam sebuah posting di X.” Apa bukti peringatan ini 'tidak proporsional' ex ante? Ex post, itu prob. akan baik -baik saja, tapi itu tidak berarti itu bertanggung jawab untuk yolo itu [sic] diberikan info pada saat itu. “
Brundage khawatir bahwa tujuan Openai dengan dokumen ini adalah untuk membuat beban bukti di mana “kekhawatiran itu mengkhawatirkan” dan “Anda membutuhkan bukti bahaya yang luar biasa untuk menindaklanjutinya.” Ini, menurutnya, adalah mentalitas “sangat berbahaya” untuk sistem AI tingkat lanjut.
“Jika saya masih bekerja di openai, saya akan bertanya mengapa ini [document] Ditulis seperti itu, dan apa yang sebenarnya diharapkan Openai dengan hati-hati dengan cara-cara yang seperti itu, ”tambah Brundage.
Openai secara historis dituduh memprioritaskan “produk mengkilap” dengan mengorbankan keselamatan, dan dari Rilis produk bergegas untuk mengalahkan perusahaan saingan ke pasar. Tahun lalu, Openai membubarkan tim kesiapan AGI -nya, dan serangkaian peneliti keselamatan dan kebijakan AI meninggalkan perusahaan untuk saingan.
Tekanan kompetitif hanya meningkat. Chinese AI Lab Deepseek menarik perhatian dunia dengan model R1 yang tersedia secara terbuka, yang cocok dengan model “penalaran” O1 Openai pada sejumlah tolok ukur utama. CEO Openai Sam Altman telah mengakui bahwa Deepseek telah mengurangi keunggulan teknologi Openai, dan dikatakan Openai itu akan “menarik beberapa rilis” untuk bersaing dengan lebih baik.
Ada banyak uang di telepon. Openai kehilangan miliaran per tahun, dan perusahaan memiliki dilaporkan Diproyeksikan bahwa kerugian tahunannya dapat tiga kali lipat menjadi $ 14 miliar pada tahun 2026. Siklus rilis produk yang lebih cepat dapat menguntungkan garis bawah Openai, tetapi mungkin dengan mengorbankan keselamatan jangka panjang. Para ahli seperti pertanyaan brundage apakah trade-off itu sepadan.
