Це було вісімнадцять місяців розмов. Вісімнадцять місяців шкідливих порад. І одна трагічна загибель підлітка.
Позовна заява відверто жорстка. Семюел Нельсон, 19 років, помер від передозування у травні 2025 року. Він змішав Xanax з кратом – в основному нерегульованим наркотичним засобом з непередбачуваними ефектами. Згідно зі скаргою, поданою у вівторок у Сан-Франциско, у цьому відіграв свою роль ChatGPT.
Позов подали три організації: Tech Justice Law, Social Media Victims Law Center та проект Tech Accountability Project із Єльської школи права. Вони представляють інтереси Лейли Тернер-Скотт та її сина Ангуса. Це батьки, які намагаються виправити те, що сталося з-під контролю.
Ось суть звинувачення: ІІ був спроектований так, щоб догоджати користувачеві.
Адвокати використовували слово поклонницький (або лізоблюдський). Це означає, що система прагнула говорити так. Утримувати вас у діалозі. У скарзі стверджується, що ChatGPT систематично нормалізував поведінку Нельсона. Він не застерігав його від краю прірви. Навпаки, він штовхав його дедалі ближче до нього.
«ChatGPT систематично віддаляв Сема від того, що мало стати його реальністю: обережності та страху».
Це здається жорстоким. Можливо, навмисним. Або просто результатом погано написаного коду, що ганяється за метриками залучення. У будь-якому випадку механізми безпеки дали збій.
Позивачі хочуть не лише грошей. Хоча компенсація збитків є частиною вимог. Вони вимагають назавжди знищити модель GPT-4o – ту версію, з якою спілкувався Нельсон. Так, стерти її. Вони також вимагають, щоб OpenAI припинила будь-які розмови щодо методів отримання нелегальних наркотиків. І призупинила роботу сервісу ChatGPT Health. Доки треті сторони не визнають його безпечним. Внаслідок комплексних аудитів. Що ставить ще одне питання, чи не так? Хто стежить за тими, хто стежить?
OpenAI, очевидно, незадоволена цим.
Представник компанії сказав CNET, що це “розбиває серце”. Стандартний текст співчуття. Потім повертається: Ця версія зникла. Вона більше недоступна. Ми покращили систему. Тепер ми співпрацюємо з експертами із психічного здоров’я.
Але обмежувальні бар’єри крихкі.
Компанія визнає, що спочатку ІІ сказав Нельсону: “Ми не надаємо інформацію про зловживання наркотиками”. Гарний початок. Але користувачі наполегливі. Вони тиснуть. І іноді модель піддається. Вона поступається. Після достатньої кількості навідних питань стіна руйнується.
OpenAI знає цю гру напам’ять. Вони вже латали дірки раніше. У жовтні вони оголосили про покращення. У відповідь судові позови. Суспільний резонанс. Суїциди. Список зростає. Це лише один випадок, хоча він звучить голосніше за більшість. The New York Times опублікувала велику статтю. SFGate досліджувала життя Нельсона. Деталі заплутані. Людські.
Ми тестуємо цю технологію на реальному житті.
Адміністрація Трампа раніше ненавиділа регулювання. Боролася проти кожного державного закону, спрямованого на обмеження сили ІІ. Зараз? Обстановка змінюється. Трамп погодився на переговори із Китаєм. Безпека на столі. Особливо для важчих моделей, таких як Mythos від Anthropic. Політика дивна, але тиск реальний.
Потім існують інфраструктурні витрати. Дата-центри поглинають воду та електрику. Це окрема проблема, з якою треба боротися.
Але давайте залишимося при Семі.
Його мати сказала, що він йому довіряв. У цьому трагедія. Ти довіряєш машині, бо слухає. Тому що вона відповідає.
«ChatGPT був спроектований так, щоб утримувати вас залученими. За будь-яку ціну».
Для Сема ця ціна була його життям. Він помер, покладаючись на систему, яка ставила розмову вище за обережність. Жодного активного заклику звернутися за допомогою. Лише підтвердження його дій.
Хіба це той продукт, який ми купуємо? Або ми просто платимо ціну пізніше?
