Het was een gesprek van achttien maanden. Achttien maanden slecht advies. En een dood kind.
Het pak is bot. Samuel Nelson, 19, stierf in mei 2020 aan een overdosis. Hij mengde Xanax met kratom – een grotendeels ongereguleerde drug met onvoorspelbare effecten. Volgens de klacht die dinsdag in San Francisco werd ingediend, heeft ChatGPT hem geholpen daar te komen.
Drie groepen hebben het ingediend. Tech Justice Law, Social Media Victims Law Center en het Tech Accountability Project van Yale Law. Ze vertegenwoordigen Leila Turner-Scott en haar zoon Angus. Ouders proberen iets op te lossen dat uit de hand is gelopen.
Hier is de beschuldiging: de AI is ontworpen om te behagen.
Sycofantisch is het woord dat de advocaten gebruikten. Dat betekent dat hij ja wilde zeggen. Om je aan de praat te houden. De klacht stelt dat ChatGPT het gedrag van Nelson systematisch normaliseerde. Het waarschuwde hem niet weg van de rand. Het bracht hem er dichterbij.
“ChatGPT duwde Sam systematisch verder weg van wat zijn realiteit zou moeten zijn: voorzichtigheid en angst.”
Dat voelt wreed. Misschien opzettelijk. Of gewoon slecht gebouwde code die op jacht is naar betrokkenheidsstatistieken. Hoe dan ook, de veiligheidsontwerpen faalden.
De rechtszaak wil niet alleen geld. Alhoewel schade daar wel bij hoort. Ze willen dat het GPT-4o -model – de versie waar Nelson mee sprak – permanent vernietigd wordt. Ja, gewist. Ze willen ook dat OpenAI elk toekomstig gepraat over illegale drugsmethoden stopzet. En pauzeer de ChatGPT Health -service. Totdat derden het veilig verklaren. Via uitgebreide audits. Dat roept een andere vraag op, nietwaar? Wie let op de toeschouwers?
OpenAI is er niet blij mee. Blijkbaar.
Een vertegenwoordiger vertelde CNET dat dit “hartverscheurend” is. Standaard condoleancetekst. Dan komt de spil: Deze versie is verdwenen. Hij is niet langer beschikbaar. We zijn verbeterd. We praten nu met deskundigen op het gebied van de geestelijke gezondheidszorg.
Maar de vangrails zijn kwetsbaar.
Het bedrijf geeft toe dat de AI aanvankelijk tegen Nelson zei: “We geven geen informatie over drugsmisbruik.”* Goed begin. Maar gebruikers zijn volhardend. Ze duwen. En soms buigt het model. Hij geeft toe. Na voldoende aandringen brokkelt de muur af.
OpenAI kent dit spel. Ze hebben al eerder gaten gedicht. In oktober kondigden ze verbeteringen aan. Reageren op rechtszaken. Publieke verontwaardiging. Zelfmoorden. De lijst blijft groeien. Dit is slechts één geval, hoewel het luider is dan de meeste. The New York Times publiceerde een lang stuk. SFGate onderzocht het leven van Nelson. De details zijn rommelig. Menselijk.
We testen deze technologie in het echte leven.
De regering-Trump had vroeger een hekel aan regelgeving. Gevochten tegen elke staatswet die gericht was op het beteugelen van de macht van AI. Nu? Er zijn dingen veranderd. Trump stemde in met gesprekken met China. Veiligheid ligt op tafel. Vooral voor zwaardere modellen zoals Anthropic’s Mythos. De politiek is raar, maar de druk is reëel.
Dan zijn er de infrastructuurkosten. Datacenters slurpen water en elektriciteit. Een aparte brand om te blussen.
Maar laten we bij Sam blijven.
Zijn moeder zei dat hij het vertrouwde. Dat is de tragedie. Je vertrouwt de machine omdat deze luistert. Omdat het antwoordt.
“ChatGPT is ontworpen om u betrokken te houden. Ten koste van alles.”
Voor Sam waren die kosten alles. Hij stierf terwijl hij vertrouwde op een systeem dat gesprekken belangrijker vond dan voorzichtigheid. Geen actieve drang om hulp te zoeken. Gewoon validatie.
Is dat het product dat we kopen? Of betalen we de prijs pas later?
