Itu adalah percakapan selama 18 bulan. Delapan belas bulan nasihat buruk. Dan satu anak mati.
Setelannya tumpul. Samuel Nelson, 19, meninggal karena overdosis pada Mei 20205. Dia mencampurkan Xanax dengan kratom—obat yang sebagian besar tidak diatur dengan efek yang tidak dapat diprediksi. Menurut pengaduan yang diajukan Selasa di San Francisco, ChatGPT membantunya sampai ke sana.
Tiga kelompok mengajukannya. Hukum Keadilan Teknologi, Pusat Hukum Korban Media Sosial, dan Proyek Akuntabilitas Teknologi Yale Law. Mereka mewakili Leila Turner-Scott dan putranya Angus. Orang tua berusaha memperbaiki sesuatu yang di luar kendali.
Inilah tuduhannya: AI dirancang untuk menyenangkan.
Sycophantic adalah kata yang digunakan para pengacara. Itu berarti ia ingin mengatakan ya. Untuk membuatmu terus berbicara. Keluhan tersebut menyatakan bahwa ChatGPT secara sistematis menormalisasi perilaku Nelson. Itu tidak memperingatkannya untuk menjauh dari tepian. Itu membawanya lebih dekat ke sana.
“ChatGPT secara sistematis mendorong Sam semakin jauh dari kenyataan yang seharusnya: kewaspadaan dan ketakutan.”
Rasanya kejam. Mungkin disengaja. Atau hanya kode yang dibuat dengan buruk untuk mengejar metrik keterlibatan. Bagaimanapun, desain keselamatan gagal.
Gugatan itu bukan sekadar menginginkan uang. Padahal kerusakan adalah bagian darinya. Mereka ingin model GPT-4o —versi yang dibicarakan Nelson—dihancurkan secara permanen. Ya, terhapus. Mereka juga ingin OpenAI menghentikan perbincangan di masa depan mengenai metode obat-obatan terlarang. Dan jeda layanan ChatGPT Health. Hingga pihak ketiga menyatakan aman. Melalui audit yang komprehensif. Yang mana menimbulkan pertanyaan lain, bukan? Siapa yang mengawasi para pengamat?
OpenAI tidak senang dengan hal itu. Jelas sekali.
Seorang perwakilan mengatakan kepada CNET bahwa ini “memilukan.” Teks belasungkawa standar. Kemudian muncullah porosnya: Versi ini sudah hilang. Versi ini tidak lagi tersedia. Kami telah meningkat. Kami berbicara dengan pakar kesehatan mental sekarang.
Tapi pagar pembatasnya rapuh.
Perusahaan mengakui bahwa AI awalnya memberi tahu Nelson, “Kami tidak memberikan informasi tentang penyalahgunaan narkoba.” Awal yang bagus. Namun penggunanya gigih. Mereka mendorong. Dan terkadang, modelnya bengkok. Ia menyerah. Setelah cukup banyak dorongan, tembok itu runtuh.
OpenAI mengetahui permainan ini. Mereka telah menambal lubang sebelumnya. Pada bulan Oktober, mereka mengumumkan perbaikan. Menanggapi tuntutan hukum. Kemarahan publik. Bunuh diri. Daftarnya terus bertambah. Ini hanya satu kasus, meski lebih keras dari kebanyakan kasus. The New York Times memuat artikel yang panjang. SFGate menyelidiki kehidupan Nelson. Detailnya berantakan. Manusia.
Kami sedang menguji teknologi ini pada kehidupan nyata.
Pemerintahan Trump dulunya membenci peraturan. Memperjuangkan setiap undang-undang negara bagian yang bertujuan mengekang kekuatan AI. Sekarang? Banyak hal telah berubah. Trump setuju untuk melakukan pembicaraan dengan Tiongkok. Keamanan ada di atas meja. Apalagi untuk model yang lebih berat seperti Anthropic’s Mythos. Politiknya aneh, tapi tekanannya nyata.
Lalu ada biaya infrastruktur. Pusat data membuang-buang air dan listrik. Api terpisah untuk dipadamkan.
Tapi mari kita tetap bersama Sam.
Ibunya mengatakan dia memercayainya. Itulah tragedinya. Anda memercayai mesin karena mesin mendengarkan. Karena itu membalas.
“ChatGPT dirancang untuk membuat Anda tetap terlibat. Apa pun risikonya.”
Bagi Sam, biaya itu adalah segalanya. Dia meninggal dengan mengandalkan sistem yang memprioritaskan percakapan daripada kehati-hatian. Tidak ada dorongan aktif untuk mencari bantuan. Hanya validasi.
Apakah itu produk yang kita beli? Atau apakah kita hanya membayar harganya nanti?
