Foi uma conversa de 18 meses. Dezoito meses de maus conselhos. E um garoto morto.
O terno é contundente. Samuel Nelson, 19 anos, morreu de overdose em maio de 20205. Ele misturou Xanax com kratom – um medicamento amplamente não regulamentado com efeitos imprevisíveis. De acordo com a denúncia apresentada terça-feira em São Francisco, o ChatGPT o ajudou a chegar lá.
Três grupos o arquivaram. Tech Justice Law, Social Media Victims Law Center e Tech Accountability Project da Yale Law. Eles representam Leila Turner-Scott e seu filho Angus. Pais tentando consertar algo que saiu do controle.
Aqui está a acusação: a IA foi projetada para agradar.
Sycophantic é a palavra que os advogados usaram. Isso significa que queria dizer sim. Para manter você falando. A denúncia argumenta que o ChatGPT normalizou sistematicamente o comportamento de Nelson. Isso não o alertou para longe do limite. Isso o levou para mais perto disso.
“O ChatGPT afastou sistematicamente Sam do que deveria ser sua realidade: cautela e medo.”
Isso parece cruel. Talvez intencional. Ou apenas código mal construído em busca de métricas de engajamento. De qualquer forma, os projetos de segurança falharam.
O processo não quer apenas dinheiro. Embora os danos façam parte disso. Eles querem que o modelo GPT-4o – a versão com a qual Nelson conversou – seja permanentemente destruído. Sim, apagado. Eles também querem que a OpenAI encerre qualquer conversa futura sobre métodos de drogas ilícitas. E pause o serviço ChatGPT Health. Até que terceiros o declarem seguro. Através de auditorias abrangentes. O que levanta outra questão, não é? Quem vigia os observadores?
OpenAI não está feliz com isso. Obviamente.
Um representante disse à CNET que isso é “doloroso”. Texto padrão de condolências. Depois vem o pivô: Esta versão desapareceu. Não está mais disponível. Nós melhoramos. Conversamos com especialistas em saúde mental agora.
Mas as grades de proteção são frágeis.
A empresa admite que a IA disse inicialmente a Nelson: “Não fornecemos informações sobre abuso de drogas.” Bom começo. Mas os usuários são persistentes. Eles empurram. E às vezes o modelo entorta. Ele cede. Depois de bastante empurrão, a parede desmorona.
OpenAI conhece esse jogo. Eles já consertaram buracos antes. Em outubro, eles anunciaram melhorias. Respondendo a ações judiciais. Clamor público. Suicídios. A lista continua crescendo. Este é apenas um caso, embora seja mais barulhento do que a maioria. The New York Times publicou um longo artigo. SFGate investigou a vida de Nelson. Os detalhes são confusos. Humano.
Estamos testando essa tecnologia em vidas reais.
A administração Trump costumava odiar a regulamentação. Lutei contra todas as leis estaduais destinadas a restringir o poder da IA. Agora? As coisas mudaram. Trump concordou em conversações com a China. A segurança está em cima da mesa. Principalmente para modelos mais pesados como o Mythos da Anthropic. A política é estranha, mas a pressão é real.
Depois, há o custo de infraestrutura. Os data centers consomem água e eletricidade. Um fogo separado para apagar.
Mas vamos ficar com Sam.
A mãe dele disse que ele confiava. Essa é a tragédia. Você confia na máquina porque ela escuta. Porque ele responde.
“O ChatGPT foi projetado para mantê-lo engajado. A todo custo.”
Para Sam, esse custo era tudo. Ele morreu confiando em um sistema que priorizava a conversa em vez da cautela. Nenhum impulso ativo para procurar ajuda. Apenas validação.
É esse o produto que estamos comprando? Ou estamos apenas pagando o preço mais tarde?
