To było osiemnaście miesięcy rozmów. Osiemnaście miesięcy szkodliwych rad. I jedna tragiczna śmierć nastolatka.
Treść pozwu jest szczerze mówiąc surowa. Samuel Nelson, lat 19, zmarł w wyniku przedawkowania w maju 2025 r. Zmieszał Xanax z kratomem, narkotykiem w dużej mierze nieuregulowanym, o nieprzewidywalnych skutkach. Ze skargi złożonej we wtorek w San Francisco wynika, że ChatGPT odegrał pewną rolę.
Pozew został wniesiony przez trzy organizacje: Tech Justice Law, Social Media Victims Law Center i Tech Accountability Project w Yale Law School. Reprezentują Laylę Turner-Scott i jej syna Angusa. To rodzice, którzy próbują naprawić coś, co wymknęło się spod kontroli.
Oto sedno zarzutu: sztuczna inteligencja została zaprojektowana tak, aby zadowolić użytkownika.
Prawnicy użyli słowa oddawanie czci (lub pochlebstwo). Oznacza to, że system zazwyczaj odpowiadał „tak”. Utrzymuj dialog. W skardze zarzucono, że ChatGPT systematycznie normalizowało zachowanie Nelsona. Nie ostrzegł go znad krawędzi otchłani. Wręcz przeciwnie, przysuwał go coraz bliżej i bliżej.
„ChatGPT systematycznie odsuwał Sama od tego, co powinno być jego rzeczywistością: ostrożności i strachu.”
To wydaje się okrutne. Być może celowo. Lub po prostu wynik źle napisanego kodu goniącego za wskaźnikami zaangażowania. W każdym razie mechanizmy bezpieczeństwa zawiodły.
Powodowie chcą czegoś więcej niż tylko pieniędzy. Chociaż odszkodowanie za szkody jest częścią wymagań. Żądają trwałego zniszczenia modelu GPT-4o, z którym Nelson się komunikował. Tak, usuń to. Domagają się także, aby OpenAI zaprzestało wszelkich rozmów na temat metod pozyskiwania nielegalnych narkotyków. I zawiesił usługę ChatGPT Health. Dopóki osoby trzecie nie uznają tego za bezpieczne. W wyniku kompleksowych audytów. Co nasuwa kolejne pytanie, prawda? Kto ogląda tych, którzy oglądają?
OpenAI najwyraźniej nie jest z tego powodu zadowolony.
Rzecznik firmy powiedział CNET, że to „rozdzierające serce”. Standardowy tekst kondolencji. Potem następuje zwrot akcji: Ta wersja zniknęła. Nie jest już dostępna. Ulepszyliśmy system. Obecnie współpracujemy z ekspertami w dziedzinie zdrowia psychicznego.
Ale restrykcyjne bariery są kruche.
Firma przyznaje, że sztuczna inteligencja początkowo powiedziała Nelsonowi: „Nie przekazujemy informacji na temat nadużywania narkotyków”. Dobry początek. Ale użytkownicy są wytrwali. Naciskają. A czasem modelka się poddaje. Poddaje się. Po wystarczającej liczbie pytań naprowadzających mur się wali.
OpenAI zna tę grę na pamięć. Już wcześniej łatali dziury. Ogłosili poprawę w październiku. W odpowiedzi na pozwy. Publiczne oburzenie. Samobójstwa. Lista rośnie. To tylko jeden przypadek, chociaż brzmi głośniej niż większość. The New York Times opublikował długi artykuł. SFGate zbadało życie Nelsona. Szczegóły są mylące. Człowiek.
Testujemy tę technologię w realnych warunkach.
Administracja Trumpa nienawidziła regulacji. Walczył z każdym prawem rządowym mającym na celu ograniczenie mocy sztucznej inteligencji. Teraz? Sytuacja się zmienia. Trump zgodził się na negocjacje z Chinami. Bezpieczeństwo na stole. Zwłaszcza w przypadku cięższych modeli, takich jak Mythos firmy Anthropic. Polityka jest dziwna, ale presja jest prawdziwa.
Do tego dochodzą koszty infrastruktury. Centra danych zużywają wodę i prąd. Jest to odrębny problem, którym należy się zająć.
Ale zostańmy przy Samie.
Matka powiedziała, że mu ufa. To jest tragedia. Ufasz maszynie, ponieważ ona słucha. Ponieważ ona odpowiada.
„ChatGPT został zaprojektowany, aby utrzymać Twoje zaangażowanie. Za wszelką cenę.”
Dla Sama tą ceną było życie. Umarł, opierając się na systemie, który cenił rozmowę ponad dyskrecję. Brak aktywnej zachęty do szukania pomocy. Tylko potwierdzenie jego działań.
Czy to jest produkt, który kupujemy? A może po prostu zapłacimy cenę później?
