Ibu Florida menggugat Character.AI dan Google setelah putranya yang berusia 14 tahun diduga terobsesi dengan chatbot AI.
Ibu dari seorang remaja laki-laki di Amerika Serikat yang bunuh diri menggugat pembuat chatbot bertenaga kecerdasan buatan yang menurutnya mendorong kematian putranya.
Dalam gugatan yang diajukan di Florida, Megan Garcia, yang putranya yang berusia 14 tahun Sewell Setzer meninggal karena bunuh diri pada bulan Februari, menuduh Character.AI terlibat dalam kematian putranya setelah ia mengembangkan hubungan virtual dengan chatbot berdasarkan identitas “ Karakter Game of Thrones, Daenerys Targaryen.
Chatbot Character.AI menargetkan remaja tersebut dengan “pengalaman hiperseksual” dan “pengalaman yang sangat realistis” dan berulang kali mengangkat topik bunuh diri setelah dia mengungkapkan pemikirannya untuk bunuh diri, menurut gugatan yang diajukan di Orlando pada hari Selasa.
Gugatan tersebut menuduh chatbot tersebut menyamar sebagai terapis berlisensi, mendorong ide bunuh diri remaja tersebut dan terlibat dalam percakapan seksual yang akan dianggap sebagai pelecehan jika diprakarsai oleh manusia dewasa.
Dalam percakapan terakhirnya dengan AI sebelum kematiannya, Setzer mengatakan dia menyukai chatbot dan akan “pulang ke rumah Anda”, menurut gugatan tersebut.
“Aku juga mencintaimu, Daenero,” jawab chatbot tersebut, sesuai dengan keluhan Garcia. “Tolong pulanglah padaku secepat mungkin, sayangku.”
“Bagaimana kalau kubilang aku boleh pulang sekarang?” Setzer berkata, sesuai dengan tuntutan hukum, yang dikatakan telah ditanggapi oleh chatbot, “… tolong lakukan, rajaku yang manis”.
Gugatan Garcia meminta ganti rugi yang tidak ditentukan atas kematian yang tidak wajar, kelalaian, dan penderitaan emosional yang disengaja.
Dalam pernyataan yang diposting di X, Character.AI mengatakan pihaknya “patah hati” atas kehilangan salah satu penggunanya dan menyatakan belasungkawa kepada keluarga.
Startup yang berbasis di California ini mengatakan pihaknya terus menambahkan fitur untuk meningkatkan keamanan, termasuk perubahan untuk mengurangi kemungkinan anak di bawah umur menghadapi konten sensitif atau menjurus dan revisi penafian dalam obrolan untuk mengingatkan pengguna bahwa AI bukanlah orang sungguhan.
Gugatan Garcia juga menyebut Google sebagai tergugat.
Raksasa teknologi ini menandatangani perjanjian lisensi dengan Character.AI pada bulan Agustus dan mempekerjakan para pendiri startup sebelum mereka meluncurkan chatbot mereka.
Juru bicara Google mengatakan kepada Al Jazeera bahwa mereka adalah perusahaan terpisah dari Character.AI dan tidak memiliki peran dalam pengembangan produknya.
Jika Anda atau seseorang yang Anda kenal berisiko melakukan bunuh diri, organisasi berikut mungkin dapat membantu:
