Bylo to osmnáct měsíců povídání. Osmnáct měsíců škodlivých rad. A jedna tragická smrt teenagera.
Prohlášení o nároku je upřímně řečeno strohé. Samuel Nelson (19) zemřel na předávkování v květnu 2025. Smíchal Xanax s kratomem, do značné míry neregulovaným lékem s nepředvídatelnými účinky. ChatGPT hrál roli, podle stížnosti podané v úterý v San Franciscu.
Žalobu podaly tři organizace: Tech Justice Law, Social Media Victims Law Center a Tech Accountability Project na Yale Law School. Představují Laylu Turner-Scott a jejího syna Anguse. Jsou to rodiče, kteří se snaží napravit něco, co se vymklo kontrole.
Zde je jádro obvinění: AI byla navržena tak, aby potěšila uživatele.
Právníci použili slovo uctívání (nebo patolízal). To znamená, že systém měl tendenci říkat ano. Udržujte se v dialogu. Stížnost tvrdí, že ChatGPT systematicky normalizoval Nelsonovo chování. Nevaroval ho z okraje propasti. Naopak, přitlačoval ho blíž a blíž k sobě.
“ChatGPT systematicky odváděl Sama od toho, co mělo být jeho realitou: opatrnosti a strachu.”
Zdá se to kruté. Možná záměrně. Nebo prostě výsledek špatně napsaného kódu pronásledujícího metriky zapojení. V každém případě selhaly bezpečnostní mechanismy.
Žalobci chtějí víc než jen peníze. I když náhrada škody je součástí požadavků. Požadují, aby byl model GPT-4o, verze, se kterou Nelson komunikoval, trvale zničen. Ano, vymazat. Požadují také, aby OpenAI přestala mluvit o metodách získávání nelegálních drog. A pozastavil službu ChatGPT Health. Dokud to třetí strany neuznají jako bezpečné. Výsledkem komplexních auditů. Což vyvolává další otázku, že? Kdo sleduje ty, kteří se dívají?
OpenAI z toho zjevně není nadšená.
Mluvčí společnosti řekl CNET, že to bylo „srdcervoucí“. Standardní kondolenční text. Pak přichází zvrat: Tato verze zmizela. Již není k dispozici. Vylepšili jsme systém. Nyní spolupracujeme s odborníky na duševní zdraví.
Ale omezující bariéry jsou křehké.
Společnost přiznává, že umělá inteligence původně řekla Nelsonovi: “Neposkytujeme informace o zneužívání drog.” Dobrý začátek. Uživatelé jsou ale vytrvalí. Tisknou se. A někdy modelka ustoupí. Vzdá se. Po dostatečném množství úvodních otázek se zeď zhroutí.
OpenAI zná tuto hru nazpaměť. Už dříve zalepili díry. Zlepšení oznámili v říjnu. V reakci na žaloby. Veřejné pobouření. Sebevraždy. Seznam se rozrůstá. Toto je jen jeden případ, i když to zní hlasitěji než většina ostatních. The New York Times zveřejnily dlouhý článek. SFGate prozkoumal Nelsonův život. Podrobnosti jsou matoucí. Člověk.
Tuto technologii testujeme v reálném životě.
Trumpova administrativa dříve nenáviděla regulaci. Bojoval proti všem vládním zákonům zaměřeným na omezení síly AI. Teď? Situace se mění. Trump souhlasil s jednáním s Čínou. Bezpečnost na stole. Zejména pro těžší modely, jako je Anthropic’s Mythos. Politika je zvláštní, ale tlak je skutečný.
Pak jsou tu náklady na infrastrukturu. Datová centra spotřebovávají vodu a elektřinu. Toto je samostatný problém, který je třeba řešit.
Ale zůstaňme u Sama.
Jeho matka řekla, že mu důvěřuje. To je ta tragédie. Důvěřujete stroji, protože poslouchá. Protože ona odpovídá.
“ChatGPT byl navržen tak, aby vás udržoval v kontaktu. Za každou cenu.”
Pro Sama tou cenou byl jeho život. Zemřel v závislosti na systému, který upřednostňoval konverzaci před diskrétností. Žádné aktivní povzbuzování k vyhledání pomoci. Jen potvrzení jeho činů.
Je to produkt, který kupujeme? Nebo zaplatíme cenu později?
