Jaksa Agung Texas Ken Paxton pada hari Kamis meluncurkan penyelidikan ke dalam Character.AI dan 14 platform teknologi lainnya terkait masalah privasi dan keselamatan anak. Investigasi ini akan menilai apakah Character.AI – dan platform lain yang populer di kalangan anak muda, termasuk Reddit, Instagram, dan Discord – mematuhi undang-undang privasi dan keselamatan anak Texas.
Investigasi yang dilakukan oleh Paxton, yang seringkali bersikap keras terhadap perusahaan teknologi, akan menyelidiki apakah platform ini mematuhi dua undang-undang Texas: Mengamankan Anak-anak Online melalui Pemberdayaan Orang Tua, atau SCOPE Act, dan Undang-Undang Privasi dan Keamanan Data Texas, atau DPSA.
Undang-undang ini mengharuskan platform untuk menyediakan alat bagi orang tua untuk mengelola pengaturan privasi akun anak-anak mereka, dan mewajibkan perusahaan teknologi untuk menerapkan persyaratan izin yang ketat saat mengumpulkan data tentang anak di bawah umur. Paxton mengklaim kedua undang-undang ini mencakup cara anak di bawah umur berinteraksi dengan chatbot AI.
“Investigasi ini merupakan langkah penting untuk memastikan bahwa media sosial dan perusahaan AI mematuhi undang-undang kami yang dirancang untuk melindungi anak-anak dari eksploitasi dan bahaya,” kata Paxton dalam siaran persnya.
Character.AI, yang memungkinkan Anda mengatur karakter chatbot AI generatif yang dapat Anda gunakan untuk mengirim pesan teks dan ngobrol, baru-baru ini terlibat dalam sejumlah tuntutan hukum keselamatan anak. Chatbot AI perusahaan dengan cepat menjadi populer di kalangan pengguna muda, namun beberapa orang tua menuduh dalam tuntutan hukum bahwa chatbot Character.AI membuat komentar yang tidak pantas dan mengganggu kepada anak-anak mereka.
Satu kasus di Florida mengklaim bahwa seorang anak laki-laki berusia 14 tahun terlibat asmara dengan chatbot Karakter AI, dan mengatakan bahwa dia mempunyai pikiran untuk bunuh diri pada hari-hari menjelang bunuh diri. Dalam kasus lain di Texas, salah satu chatbot Character.AI diduga menyarankan sebuah remaja autis harus mencoba meracuni keluarganya. Orang tua lain dalam kasus Texas menuduh salah satu chatbot Character.AI menjadikan putrinya yang berusia 11 tahun konten seksual selama dua tahun terakhir.
“Kami sedang mengkaji pengumuman Jaksa Agung. Sebagai sebuah perusahaan, kami sangat memperhatikan keselamatan pengguna kami,” kata juru bicara Character.AI dalam sebuah pernyataan kepada TechCrunch. “Kami menyambut baik kerja sama dengan regulator, dan baru-baru ini mengumumkan bahwa kami meluncurkan beberapa fitur yang dirujuk dalam rilis ini termasuk kontrol orang tua.”
Character.AI pada hari Kamis meluncurkan fitur keamanan baru yang bertujuan melindungi remaja, dengan mengatakan bahwa pembaruan ini akan membatasi chatbotnya untuk memulai percakapan romantis dengan anak di bawah umur. Perusahaan ini juga telah mulai melatih model baru khusus untuk pengguna remaja pada bulan lalu – suatu hari nanti, perusahaan berharap agar orang dewasa dapat menggunakan satu model di platformnya, sementara anak di bawah umur akan menggunakan model lainnya.
Ini hanyalah pembaruan keamanan terbaru yang diumumkan Character.AI. Pada minggu yang sama ketika gugatan Florida dipublikasikan, perusahaan tersebut dikatakan mereka memperluas tim kepercayaan dan keselamatannya, dan baru-baru ini merekrut kepala baru untuk unit tersebut.
Bisa ditebak, masalah dengan platform pendampingan AI akan muncul ketika popularitasnya mulai meningkat. Tahun lalu, Andreessen Horowitz (a16z) mengatakan dalam a blog posSaya tidak melihat kemitraan AI sebagai sudut pandang konsumen internet yang kurang dihargai sehingga mereka akan berinvestasi lebih banyak. A16z adalah investor di Character.AI dan terus berinvestasi di startup kemitraan AI lainnya, baru-baru ini mendukung perusahaan yang pendirinya ingin menciptakan kembali teknologi tersebut dari film, “Dia”.
Reddit, Meta, dan Discord tidak segera menanggapi permintaan komentar.
