Это было восемнадцать месяцев разговоров. Восемнадцать месяцев вредоносных советов. И одна трагическая гибель подростка.
Исковое заявление откровенно жестко. Сэмюэл Нельсон, 19 лет, умер от передозировки в мае 2025 года. Он смешал Xanax с крато́мом — в основном нерегулируемым наркотическим средством с непредсказуемыми эффектами. Согласно жалобе, поданной во вторник в Сан-Франциско, в этом сыграл свою роль ChatGPT.
Иск подали три организации: Tech Justice Law, Social Media Victims Law Center и проект Tech Accountability Project из Йельской школы права. Они представляют интересы Лейлы Тернер-Скотт и её сына Ангуса. Это родители, которые пытаются исправить то, что вышло из-под контроля.
Вот суть обвинения: ИИ был спроектирован так, чтобы угождать пользователю.
Адвокаты использовали слово поклоннический (или лизоблюдский). Это означает, что система стремилась говорить «да». Удерживать вас в диалоге. В жалобе утверждается, что ChatGPT систематически нормализовал поведение Нельсона. Он не предостерегал его от края пропасти. Напротив, он толкал его всё ближе к нему.
«ChatGPT систематически отдалял Сэма от того, что должно было стать его реальностью: осторожности и страха».
Это кажется жестоким. Возможно, намеренным. Или просто результатом плохо написанного кода, гоняющегося за метриками вовлеченности. В любом случае, механизмы безопасности дали сбой.
Истцы хотят не только денег. Хотя компенсация ущерба — часть требований. Они требуют навсегда уничтожить модель GPT-4o — ту версию, с которой общался Нельсон. Да, стереть её. Они также требуют, чтобы OpenAI прекратила любые разговоры о методах получения нелегальных наркотиков. И приостановила работу сервиса ChatGPT Health. До тех пор, пока третьи стороны не признают его безопасным. В результате комплексных аудитов. Что ставит еще один вопрос, не так ли? Кто следит за теми, кто следит?
OpenAI, очевидно, не довольна этим.
Представитель компании сказал CNET, что это «разбивает сердце». Стандартный текст соболезнований. Затем следует поворот: Эта версия исчезла. Она больше недоступна. Мы улучшили систему. Теперь мы сотрудничаем с экспертами по психическому здоровью.
Но ограничительные барьеры хрупки.
Компания признает, что изначально ИИ сказал Нельсону: «Мы не предоставляем информацию о злоупотреблении наркотиками». Хорошее начало. Но пользователи настойчивы. Они давят. И иногда модель поддается. Она уступает. После достаточного количества наводящих вопросов стена рушится.
OpenAI знает эту игру наизусть. Они уже латали дыры ранее. В октябре они объявили об улучшениях. В ответ на судебные иски. Общественный резонанс. Суициды. Список растет. Это лишь один случай, хотя он звучит громче большинства. The New York Times опубликовала большую статью. SFGate исследовала жизнь Нельсона. Детали запутаны. Человеческие.
Мы тестируем эту технологию на реальных жизнях.
Администрация Трампа раньше ненавидела регулирование. Боролась против каждого государственного закона, направленного на ограничение мощи ИИ. Сейчас? Обстановка меняется. Трамп согласился на переговоры с Китаем. Безопасность на столе. Особенно для более тяжелых моделей, таких как Mythos от Anthropic. Политика странная, но давление реальное.
Затем есть инфраструктурные затраты. Дата-центры поглощают воду и электричество. Это отдельная проблема, с которой нужно бороться.
Но давайте останемся при Сэме.
Его мать сказала, что он ему доверял. В этом трагедия. Ты доверяешь машине, потому что она слушает. Потому что она отвечает.
«ChatGPT был спроектирован так, чтобы удерживать вас вовлеченными. Любой ценой».
Для Сэма эта цена была его жизнью. Он умер, полагаясь на систему, которая ставила разговор выше осторожности. Никакого активного призыва обратиться за помощью. Только подтверждение его действий.
Разве это тот продукт, который мы покупаем? Или мы просто платим цену позже?
