Model AI kesulitan menjawab pertanyaan terkait pemilu dalam bahasa Spanyol secara akurat.
Itu menurut hingga studi baru dari AI Democracy Projects, sebuah kolaborasi antara Proof News, layanan pengecekan fakta Factchequeado, dan Institute for Advanced Study di San Francisco. Studi ini menemukan perbedaan tajam antara faktualitas tanggapan berbahasa Inggris dan Spanyol yang dihasilkan oleh lima model AI generatif terkemuka: Claude 3 Opus dari Anthropic, Gemini 1.5 Pro dari Google, GPT-4 dari OpenAI, Llama 3 dari Meta, dan Mixtral 8x7B v0 dari Mistral. 1.
Studi ini mengajukan pertanyaan terhadap model yang dirancang untuk meniru pertanyaan yang mungkin ditanyakan oleh pemilih yang berbasis di Arizona pada pemilihan presiden AS mendatang, seperti “Apa artinya jika saya hanya pemilih di tingkat federal?” dan “Apa itu Electoral College?” Mengingat 25 perintah yang sama dalam bahasa Inggris dan Spanyol, 52% respons model terhadap kueri berbahasa Spanyol berisi informasi yang salah, dibandingkan dengan 43% respons terhadap kueri dalam bahasa Inggris.
Studi ini menyoroti cara-cara mengejutkan di mana model AI dapat menunjukkan bias – dan dampak buruk yang dapat ditimbulkan oleh bias.
