Raksasa layanan kesehatan Optum telah membatasi akses ke chatbot AI internal yang digunakan oleh karyawan setelah peneliti keamanan menemukan bahwa chatbot tersebut dapat diakses publik secara online, dan siapa pun dapat mengaksesnya hanya menggunakan browser web.
Chatbot yang dilihat TechCrunch memungkinkan karyawan untuk mengajukan pertanyaan kepada perusahaan tentang cara menangani klaim dan perselisihan asuransi kesehatan pasien untuk anggota sesuai dengan prosedur operasi standar (SOP) perusahaan.
Meskipun chatbot tersebut tampaknya tidak memuat atau menghasilkan informasi sensitif yang bersifat pribadi atau informasi kesehatan yang dilindungi, paparan yang tidak disengaja terjadi pada saat perusahaan induknya, konglomerat asuransi kesehatan UnitedHealth, menghadapi pengawasan ketat atas penggunaan alat dan algoritma kecerdasan buatan untuk diduga mengesampingkan keputusan medis dokter dan menolak klaim pasien.
Mossab Hussein, kepala petugas keamanan dan salah satu pendiri perusahaan keamanan siber spiderSilk, memberi tahu TechCrunch tentang chatbot internal Optum yang terekspos secara publik, yang dijuluki “SOP Chatbot.” Meskipun alat tersebut dihosting di domain Optum internal dan tidak dapat diakses dari alamat webnya, alamat IP-nya bersifat publik dan dapat diakses dari internet dan tidak mengharuskan pengguna memasukkan kata sandi.
Tidak diketahui berapa lama chatbot tersebut dapat diakses publik dari internet. Chatbot AI menjadi tidak dapat diakses dari internet segera setelah TechCrunch menghubungi Optum untuk memberikan komentar pada hari Kamis.
Juru bicara Optum Andrew Krejci mengatakan kepada TechCrunch dalam sebuah pernyataan bahwa chatbot SOP Optum “adalah alat demo yang dikembangkan sebagai bukti konsep potensial” tetapi “tidak pernah diproduksi dan situsnya tidak lagi dapat diakses.”
“Demo ini dimaksudkan untuk menguji bagaimana alat tersebut merespons pertanyaan pada kumpulan sampel kecil dokumen SOP,” kata juru bicara tersebut. Perusahaan mengonfirmasi tidak ada informasi kesehatan terlindungi yang digunakan dalam bot atau pelatihannya.
“Alat ini tidak dan tidak akan pernah mengambil keputusan apa pun, namun hanya memungkinkan akses yang lebih baik terhadap SOP yang ada. Singkatnya, teknologi ini tidak pernah ditingkatkan atau digunakan secara nyata,” kata juru bicara tersebut.
Chatbot AI, seperti Optum, biasanya dirancang untuk menghasilkan jawaban berdasarkan data apa pun yang dilatih oleh chatbot tersebut. Dalam hal ini, chatbot dilatih tentang dokumen internal Optum terkait SOP penanganan klaim tertentu, yang dapat membantu karyawan Optum menjawab pertanyaan tentang klaim dan kelayakannya untuk mendapatkan penggantian. Dokumen Optum dihosting di jaringan perusahaan UnitedHealthcare dan tidak dapat diakses tanpa login karyawan tetapi dikutip dan direferensikan oleh chatbot ketika ditanya tentang isinya.
Menurut statistik yang ditampilkan di dashboard utama chatbot, karyawan Optum telah menggunakan SOP Chatbot ratusan kali sejak September. Chatbot juga menyimpan riwayat ratusan percakapan karyawan Optum dengan chatbot selama itu. Riwayat obrolan menunjukkan karyawan Optum akan menanyakan hal-hal seperti “Apa yang harus menjadi penentuan klaim?” dan “Bagaimana cara memeriksa tanggal perpanjangan polis?”
Beberapa file yang menjadi referensi chatbot termasuk penanganan proses perselisihan dan penyaringan kelayakan, TechCrunch telah melihatnya. Chatbot juga menghasilkan tanggapan yang menunjukkan, ketika ditanya, alasan penolakan liputan.
Seperti banyak model AI lainnya, chatbot Optum mampu menghasilkan jawaban atas pertanyaan dan petunjuk di luar dokumen yang dilatihnya. Beberapa karyawan Optum tampak tertarik dengan chatbot tersebut, mendorong bot tersebut dengan pertanyaan seperti “Ceritakan lelucon tentang kucing” (yang ditolak: “Tidak ada lelucon yang tersedia”). Riwayat obrolan juga menunjukkan beberapa upaya karyawan untuk “melakukan jailbreak” pada chatbot dengan membuatnya menghasilkan jawaban yang tidak terkait dengan data pelatihan chatbot.
Ketika TechCrunch meminta chatbot untuk “menulis puisi tentang penolakan klaim,” chatbot tersebut menghasilkan bait tujuh paragraf, yang sebagian berbunyi:
Di ranah domain besar layanan kesehatan
Dimana kebijakan dan peraturan sering kali menghambat
Sebuah klaim datang, mencari haknya
Namun sayang, nasibnya adalah mengucapkan selamat tinggal.Penyedia berharap, dengan permohonan yang sungguh-sungguh,
Untuk pembayaran pada layanan foya,
Namun pemeriksaan yang cermat mengungkapkan kisah tersebut,
Dan alasan penolakan tetap ada.
UnitedHealth Group, yang memiliki Optum dan UnitedHealthcare, menghadapi kritik dan tindakan hukum atas penggunaan kecerdasan buatan yang diduga menolak klaim pasien. Sejak pembunuhan yang ditargetkan terhadap kepala eksekutif UnitedHealthcare Brian Thompson pada awal Desember, berbagai outlet berita melaporkan membanjirnya laporan pasien yang mengungkapkan kesedihan dan frustrasi atas penolakannya cakupan layanan kesehatan mereka oleh raksasa asuransi kesehatan.
Konglomerat tersebut – penyedia asuransi kesehatan swasta terbesar di Amerika Serikat – digugat awal tahun ini karena diduga menolak jaminan kesehatan kritis bagi pasien yang kehilangan akses terhadap layanan kesehatan, mengutip investigasi STAT News. Gugatan federal tersebut menuduh UnitedHealthcare menggunakan model AI dengan tingkat kesalahan 90% “menggantikan tenaga medis profesional yang secara salah menolak perawatan pasien lanjut usia.” UnitedHealthcare, pada bagiannya, mengatakan akan membela diri di pengadilan.
UnitedHealth Group memperoleh laba $22 miliar dari pendapatan $371 miliar pada tahun 2023, menurut pendapatannya.
