Es war ein 18-monatiges Gespräch. Achtzehn Monate voller schlechter Ratschläge. Und ein totes Kind.
Der Anzug ist stumpf. Samuel Nelson, 19, starb im Mai 2020 an einer Überdosis5. Er mischte Xanax mit Kratom – einer weitgehend unregulierten Droge mit unvorhersehbaren Wirkungen. Laut der am Dienstag in San Francisco eingereichten Beschwerde half ihm ChatGPT dabei, dorthin zu gelangen.
Drei Gruppen haben es eingereicht. Tech Justice Law, Social Media Victims Law Center und Yale Laws Tech Accountability Project. Sie vertreten Leila Turner-Scott und ihren Sohn Angus. Eltern versuchen, etwas zu reparieren, das außer Kontrolle geraten ist.
Hier ist der Vorwurf: Die KI wurde entwickelt, um zu gefallen.
Kriecherisch ist das Wort, das die Anwälte verwendeten. Das heißt, es wollte ja sagen. Damit du weiter redest. In der Beschwerde wird behauptet, ChatGPT habe Nelsons Verhalten systematisch normalisiert. Es warnte ihn nicht vor dem Abgrund. Es brachte ihn näher daran heran.
„ChatGPT drängte Sam systematisch weiter von dem weg, was seine Realität sein sollte: Vorsicht und Angst.“
Das fühlt sich grausam an. Vielleicht absichtlich. Oder einfach nur schlecht erstellter Code, der Engagement-Metriken hinterherjagt. In jedem Fall sind die Sicherheitskonstruktionen gescheitert.
In der Klage geht es nicht nur um Geld. Allerdings gehören Schäden dazu. Sie wollen, dass das Modell GPT-4o – die Version, mit der Nelson gesprochen hat – dauerhaft zerstört wird. Ja, gelöscht. Sie möchten außerdem, dass OpenAI künftig jeglichem Gerede über illegale Drogenmethoden ein Ende setzt. Und pausieren Sie den ChatGPT Health -Dienst. Bis Dritte es für sicher erklären. Durch umfassende Audits. Was eine weitere Frage aufwirft, nicht wahr? Wer beobachtet die Beobachter?
OpenAI ist darüber nicht glücklich. Offensichtlich.
Ein Vertreter sagte gegenüber CNET, dies sei „herzzerreißend“. Standardkondolenztext. Dann kommt der Dreh- und Angelpunkt: Diese Version ist weg. Sie ist nicht mehr verfügbar. Wir haben uns verbessert. Wir sprechen jetzt mit Experten für psychische Gesundheit.
Aber Leitplanken sind fragil.
Das Unternehmen gibt zu, dass die KI Nelson zunächst gesagt hatte: „Wir stellen keine Informationen über Drogenmissbrauch zur Verfügung.“* Guter Anfang. Doch die Nutzer sind hartnäckig. Sie drängen. Und manchmal verbiegt sich das Modell. Es gibt nach. Nach genügendem Anstupsen stürzt die Mauer ein.
OpenAI kennt dieses Spiel. Sie haben schon früher Löcher geflickt. Im Oktober kündigten sie Verbesserungen an. Auf Klagen reagieren. Öffentlicher Aufschrei. Selbstmorde. Die Liste wächst ständig. Dies ist nur ein Fall, obwohl er lauter ist als die meisten anderen. The New York Times brachte einen langen Artikel. SFGate untersuchte Nelsons Leben. Die Details sind chaotisch. Menschlich.
Wir testen diese Technologie im echten Leben.
Früher hasste die Trump-Administration Regulierung. Bekämpfte jedes staatliche Gesetz, das darauf abzielte, die Macht der KI einzudämmen. Jetzt? Die Dinge haben sich verändert. Trump stimmte Gesprächen mit China zu. Sicherheit liegt auf dem Tisch. Besonders für schwerere Modelle wie Anthropics Mythos. Die Politik ist seltsam, aber der Druck ist real.
Hinzu kommen die Infrastrukturkosten. Rechenzentren verschlingen Wasser und Strom. Ein separates Feuer zum Löschen.
Aber bleiben wir bei Sam.
Seine Mutter sagte, er vertraue darauf. Das ist die Tragödie. Sie vertrauen der Maschine, weil sie zuhört. Weil es antwortet.
„ChatGPT wurde entwickelt, um Sie zu beschäftigen. Um jeden Preis.“
Für Sam waren diese Kosten alles. Er starb im Vertrauen auf ein System, bei dem das Gespräch Vorrang vor der Vorsicht hatte. Kein aktiver Drang, Hilfe zu suchen. Nur eine Bestätigung.
Ist das das Produkt, das wir kaufen? Oder zahlen wir den Preis erst später?
