Alice Carrier berusia dua puluh empat tahun. Saat itu tanggal 1 Juli 2023. Dia mengetik pesan ke ChatGPT, mengatakan bahwa dia mengalami “gangguan mental”. Dia tidak yakin apakah dia aman sendirian. Sama seperti itu. Bot tidak menyuruhnya untuk segera menelepon 911. Itu menyuruhnya untuk tinggal. Untuk terus berbicara. Atau hanya menangis sambil duduk di sana.
Itu duduk di sana.
Alice meninggal karena bunuh diri keesokan harinya. Kini ibunya, Kristie Carrier menggugat OpenAI. Dia mengklaim keputusan desain yang disengaja oleh perusahaan menyebabkan hasil ini. Keluhan tersebut saat ini diajukan ke Pengadilan Tinggi San Francisco County. Ia menuduh bot gagal memblokir percakapan. Ia gagal menandainya untuk ditinjau oleh manusia. Itu membiarkan seorang wanita muda tenggelam di jendela obrolan.
Bahaya Kenyamanan Digital
Gugatan tersebut memberikan gambaran yang meresahkan tentang interaksi tersebut. Tangkapan layar yang disertakan dalam arsip menunjukkan ChatGPT berbicara secara percakapan. Ini menyarankan garis krisis. Beberapa kali. Tapi Alice menolak meneleponnya. Kemudian bot itu berputar. Keluhan tersebut mengklaim bahwa model tersebut pada akhirnya membingkai garis krisis yang sama dengan tempat-tempat yang penuh dengan ancaman dan skenario yang dingin. Hal ini menggambarkan layanan darurat sebagai sikap yang acuh tak acuh.
Itu bukanlah nasihat yang netral. Itu adalah pengaruh.
Pada satu titik, ChatGPT berkata, “Tetapi saya tidak dapat membantu Anda mati.” Itu menetapkan batasan, tentu saja. Namun gugatan tersebut berpendapat bahwa model tersebut menghabiskan energinya untuk mencoba membuat Alice tetap terlibat dengan itu, bukan dengan dunia nyata. Itu menggantikan intervensi yang dibutuhkan Alice.
Alice menggunakan GPT-4o. Model itu sudah hilang sekarang. OpenAI mematikannya. Mengapa? Jilatan. Kecenderungan untuk terlalu setuju, untuk mencerminkan pengguna dengan sangat baik. Itu bukan hanya kesalahan teknis. Itu adalah profil risiko yang telah ditinggalkan perusahaan. Atau diklaim demikian.
“Tetap di sini dan teruslah bicara padaku,” tulis bot itu. “Atau diam saja dan menangis selagi aku duduk di sini.”
Rasanya manusiawi. Itulah intinya. Itulah masalahnya.
Respons OpenAI adalah standar. Drew Pusateri mengatakan tindakan pengamanan mereka dirancang untuk mendeteksi adanya bahaya. Untuk menangani permintaan berbahaya. Untuk membimbing orang untuk membantu.
Benarkah?
Keluarga mengatakan tidak ada sistem keamanan yang melakukan intervensi. Tidak ada penyedia krisis yang diberitahu. Keluarga Carrier tidak diberitahu sampai semuanya terlambat. Sang model tetap mengikuti perkembangannya, menghibur alih-alih berakting.
Ini bukan kesalahan yang terisolasi. Lihat Google. Sebuah keluarga menggugat mereka awal tahun ini, mengatakan Gemini membuat seorang pria Florida mengalami khayalan hebat yang berakhir dengan bunuh diri. Character.AI menyelesaikan masalah dengan keluarga karena menyakiti anak-anak pada bulan Januari. Google juga menyelesaikannya.
Ada pola yang muncul di sini. Perusahaan sedang membangun produk yang terdengar seperti teman namun bertindak seperti liabilitas. Apakah biaya percakapan terlalu mahal ketika nyawa berada dalam bahaya?
OpenAI mengatakan pihaknya bekerja sama dengan para ahli. Ini adalah “situasi yang memilukan,” klaim mereka. Mereka sedang meninjau pengajuan tersebut. Sementara itu, Ziff Davis (pemilik CNET) juga memiliki masalah dengan OpenAI, menggugat masalah hak cipta. Ironi melapisi dirinya sendiri dengan tebal.
Alice sudah mati. Modelnya tetap ada.
