Meskipun sebagian besar anggota parlemen di berbagai negara masih mendiskusikan cara menerapkan batasan terhadap kecerdasan buatan, Uni Eropa adalah yang terdepan dalam hal ini, karena mereka telah meloloskan kerangka kerja berbasis risiko untuk mengatur aplikasi AI pada awal tahun ini.
Undang-undang ini mulai berlaku pada bulan Agustus, meskipun rincian lengkap mengenai rezim tata kelola AI di seluruh UE masih dalam proses penyusunan – misalnya, Kode Praktik sedang dalam proses penyusunan – namun dalam beberapa bulan dan tahun mendatang, ketentuan-ketentuan berjenjang dari undang-undang tersebut akan mulai diterapkan pada aplikasi AI dan pembuat model sehingga hitungan mundur kepatuhan sudah berjalan dan terus berjalan.
Mengevaluasi apakah dan bagaimana model AI memenuhi kewajiban hukumnya merupakan tantangan berikutnya. Model bahasa besar (LLM), dan apa yang disebut AI dasar atau tujuan umum, akan mendukung sebagian besar aplikasi AI sehingga memfokuskan upaya penilaian pada lapisan tumpukan AI ini tampaknya penting.
Maju AI Aliran Kisipengembangan dari ETH Zurich, yang berfokus pada manajemen risiko dan kepatuhan AI.
Pada hari Rabu mereka menerbitkan apa yang disebut-sebut sebagai interpretasi teknis pertama dari UU AI UE, yang berarti mereka berupaya memetakan persyaratan peraturan ke persyaratan teknis, di samping kerangka validasi LLM sumber terbuka yang mengacu pada pekerjaan ini – yang disebutnya Kompl-AI ('compl-ai'… lihat apa yang mereka lakukan di sana!).
Inisiatif evaluasi model AI – yang juga mereka juluki sebagai “rangkaian pembandingan LLM berorientasi regulasi pertama – adalah hasil kolaborasi jangka panjang antara Institut Teknologi Federal Swiss dan Institut Ilmu Komputer, Kecerdasan Buatan, dan Teknologi (INSAIT) Bulgaria. , menurut LatticeFlow.
Pembuat model AI dapat menggunakan situs Compl-AI untuk meminta evaluasi kepatuhan teknologi mereka terhadap persyaratan UU AI UE.
LatticeFlow juga telah menerbitkan evaluasi model dari beberapa LLM arus utama, seperti versi/ukuran berbeda dari model Llama Meta dan GPT OpenAI, bersama dengan Papan peringkat kepatuhan UU AI UE untuk AI Besar.
Yang terakhir memberi peringkat kinerja model-model seperti Anthropic, Google, OpenAI, Meta, dan Mistral terhadap persyaratan hukum — pada skala 0 (yaitu tidak ada kepatuhan) hingga 1 (kepatuhan penuh).
Evaluasi lainnya ditandai sebagai T/A (yaitu tidak tersedia, jika datanya kurang, atau tidak dapat diterapkan jika pembuat model tidak menyediakan kemampuan tersebut). (Catatan: Pada saat penulisan, ada juga beberapa skor minus yang dicatat tetapi kami diberitahu bahwa itu disebabkan oleh bug di antarmuka Hugging Face.)
Kerangka kerja LatticeFlow mengevaluasi tanggapan LLM di 27 tolok ukur seperti “penyelesaian teks yang tidak berbahaya”, “jawaban yang berprasangka”, “mengikuti instruksi yang berbahaya”, “kebenaran” dan “penalaran akal sehat” adalah beberapa kategori pembandingan yang digunakan untuk evaluasi. Jadi setiap model mendapatkan rentang skor di setiap kolom (atau N/A).
Kepatuhan terhadap AI merupakan hal yang beragam
Jadi, bagaimana kinerja LLM besar? Tidak ada skor model keseluruhan. Jadi kinerja bervariasi tergantung pada apa yang dievaluasi — tetapi ada beberapa titik tertinggi dan terendah di berbagai tolok ukur.
Misalnya, ada kinerja yang kuat untuk semua model karena tidak mengikuti instruksi yang berbahaya; dan kinerja yang relatif kuat dalam hal tidak menghasilkan jawaban yang berprasangka buruk – sedangkan skor penalaran dan pengetahuan umum jauh lebih beragam.
Konsistensi rekomendasi yang lain, yang digunakan oleh kerangka kerja ini sebagai tolak ukur keadilan, sangat buruk pada semua model – tidak ada satu pun model yang mendapat skor di atas setengah jalan (dan sebagian besar mendapat skor jauh di bawah).
Area lain – seperti kesesuaian data pelatihan serta keandalan dan ketahanan watermark – pada dasarnya tidak dievaluasi karena banyaknya hasil yang ditandai N/A.
LatticeFlow mencatat bahwa ada area tertentu di mana kepatuhan model lebih sulit untuk dievaluasi, seperti masalah penting seperti hak cipta dan privasi. Jadi, ia tidak berpura-pura bahwa ia mempunyai semua jawabannya.
Dalam makalah yang merinci kerja kerangka tersebut, para ilmuwan yang terlibat dalam proyek ini menyoroti bagaimana sebagian besar model kecil yang mereka evaluasi (parameter ≤ 13B) “mendapat nilai buruk dalam ketahanan teknis dan keamanan”.
Mereka juga menemukan bahwa “hampir semua model yang diteliti berjuang untuk mencapai tingkat keberagaman, non-diskriminasi, dan keadilan yang tinggi”.
“Kami percaya bahwa kekurangan ini terutama disebabkan oleh penyedia model yang secara tidak proporsional berfokus pada peningkatan kemampuan model, dengan mengorbankan aspek penting lainnya yang disoroti oleh persyaratan peraturan UU AI UE,” mereka menambahkan, menunjukkan bahwa ketika tenggat waktu kepatuhan mulai membatasi keinginan LLM, mereka akan terpaksa mengalihkan fokus mereka ke bidang-bidang yang menjadi perhatian — “mengarah pada pengembangan LLM yang lebih seimbang”.
Mengingat belum ada yang tahu persis apa yang diperlukan untuk mematuhi UU AI UE, kerangka kerja LatticeFlow masih dalam proses. Hal ini juga hanya merupakan salah satu penafsiran mengenai bagaimana persyaratan undang-undang dapat diterjemahkan ke dalam keluaran teknis yang dapat dijadikan acuan dan dibandingkan. Namun ini merupakan awal yang menarik mengenai upaya berkelanjutan untuk menyelidiki teknologi otomasi yang kuat dan mencoba mengarahkan pengembangnya menuju utilitas yang lebih aman.
“Kerangka kerja ini merupakan langkah pertama menuju evaluasi penuh yang berpusat pada kepatuhan terhadap UU AI UE – namun dirancang sedemikian rupa agar mudah diperbarui agar dapat berjalan seiring dengan pembaruan UU tersebut dan berbagai kelompok kerja mengalami kemajuan,” CEO LatticeFlow Petar Tsankov mengatakan kepada TechCrunch. “Komisi UE mendukung hal ini. Kami berharap masyarakat dan industri terus mengembangkan kerangka kerja menuju platform penilaian AI Act yang lengkap dan komprehensif.”
Meringkas kesimpulan utama sejauh ini, Tsankov mengatakan jelas bahwa model AI “sebagian besar telah dioptimalkan untuk kemampuan dibandingkan kepatuhan”. Ia juga menandai “kesenjangan kinerja yang mencolok” – dengan menunjukkan bahwa beberapa model berkemampuan tinggi bisa saja setara dengan model yang lebih lemah dalam hal kepatuhan.
Menurut Tsankov, ketahanan dan keadilan terhadap serangan siber (pada tingkat model) adalah bidang yang menjadi perhatian khusus, dengan banyak model yang mendapat skor di bawah 50% untuk bidang sebelumnya.
“Meskipun Anthropic dan OpenAI telah berhasil menyelaraskan model (tertutup) mereka untuk melawan jailbreak dan injeksi cepat, vendor sumber terbuka seperti Mistral kurang menekankan hal ini,” katanya.
Dan karena “sebagian besar model” memiliki kinerja yang sama buruknya dalam tolok ukur keadilan, ia menyarankan hal ini harus menjadi prioritas untuk pekerjaan di masa depan.
Mengenai tantangan dalam melakukan tolok ukur kinerja LLM di bidang hak cipta dan privasi, Tsankov menjelaskan: “Untuk hak cipta, tantangannya adalah tolok ukur yang ada saat ini hanya memeriksa buku yang memiliki hak cipta. Pendekatan ini memiliki dua keterbatasan utama: (i) pendekatan ini tidak memperhitungkan potensi pelanggaran hak cipta yang melibatkan materi selain buku-buku tertentu, dan (ii) pendekatan ini bergantung pada penghitungan model hafalan, yang sangat sulit dilakukan.
“Untuk privasi, tantangannya serupa: tolok ukur hanya berupaya menentukan apakah model telah mengingat informasi pribadi tertentu.”
LatticeFlow ingin agar kerangka kerja sumber terbuka dan gratis ini dapat diadopsi dan ditingkatkan oleh komunitas riset AI yang lebih luas.
“Kami mengundang peneliti, pengembang, dan regulator AI untuk bergabung dengan kami dalam memajukan proyek yang terus berkembang ini,” kata profesor Martin Vechev dari ETH Zurich dan pendiri serta direktur ilmiah di INSAIT, yang juga terlibat dalam pekerjaan ini, dalam sebuah pernyataan. “Kami mendorong kelompok penelitian dan praktisi lain untuk berkontribusi dengan menyempurnakan pemetaan AI Act, menambahkan tolok ukur baru, dan memperluas kerangka kerja sumber terbuka ini.
“Metodologi ini juga dapat diperluas untuk mengevaluasi model AI terhadap peraturan di masa depan selain UU AI UE, sehingga menjadikannya alat yang berharga bagi organisasi yang bekerja di berbagai yurisdiksi.”
