Fue una conversación de 18 meses. Dieciocho meses de malos consejos. Y un niño muerto.
El traje es contundente. Samuel Nelson, de 19 años, murió de una sobredosis en mayo de 20205. Mezcló Xanax con kratom, una droga en gran medida no regulada con efectos impredecibles. Según la denuncia presentada el martes en San Francisco, ChatGPT lo ayudó a llegar allí.
Tres grupos lo presentaron. Tech Justice Law, Social Media Victims Law Center y Tech Accountability Project de Yale Law. Representan a Leila Turner-Scott y su hijo Angus. Padres intentando arreglar algo que se salió de control.
Aquí está la acusación: la IA fue diseñada para complacer.
Adulador es la palabra que usaron los abogados. Eso significa que quería decir que sí. Para que sigas hablando. La denuncia argumenta que ChatGPT normalizó sistemáticamente el comportamiento de Nelson. No le advirtió que se alejara del límite. Lo acercó más a eso.
“ChatGPT alejó sistemáticamente a Sam de lo que debería ser su realidad: precaución y miedo”.
Eso se siente cruel. Quizás intencional. O simplemente un código mal construido que persigue métricas de participación. De cualquier manera, los diseños de seguridad fallaron.
La demanda no sólo quiere dinero. Aunque los daños son parte de ello. Quieren que el modelo GPT-4o, la versión con la que habló Nelson, sea destruido permanentemente. Sí, borrado. También quieren que OpenAI acabe con cualquier conversación futura sobre métodos de drogas ilícitas. Y pausa el servicio ChatGPT Health. Hasta que terceros lo declaren seguro. A través de auditorías integrales. Lo que plantea otra pregunta, ¿no? ¿Quién vigila a los observadores?
OpenAI no está contento con eso. Obviamente.
Un representante le dijo a CNET que esto es “desgarrador”. Texto de condolencia estándar. Luego viene el pivote: Esta versión ya no está. Ya no está disponible. Hemos mejorado. Hablamos con expertos en salud mental ahora.
Pero las barreras de seguridad son frágiles.
La compañía admite que la IA inicialmente le dijo a Nelson: “No brindamos información sobre el abuso de drogas”. Buen comienzo. Pero los usuarios son persistentes. Ellos empujan. Y a veces, el modelo se dobla. Se rinde. Después de suficientes empujones, la pared se desmorona.
OpenAI conoce este juego. Ya han tapado agujeros antes. En octubre anunciaron mejoras. Responder a demandas. Protesta pública. Suicidios. La lista sigue creciendo. Este es sólo un caso, aunque es más ruidoso que la mayoría. The New York Times publicó un artículo extenso. SFGate investigó la vida de Nelson. Los detalles son confusos. Humano.
Estamos probando esta tecnología en vidas reales.
La administración Trump solía odiar la regulación. Luchó contra todas las leyes estatales destinadas a frenar el poder de la IA. ¿Ahora? Las cosas han cambiado. Trump aceptó entablar conversaciones con China. La seguridad está sobre la mesa. Especialmente para modelos más pesados como Mythos de Anthropic. La política es extraña, pero la presión es real.
Luego está el costo de la infraestructura. Los centros de datos consumen agua y electricidad. Un incendio aparte que apagar.
Pero quedémonos con Sam.
Su madre dijo que confiaba en ello. Esa es la tragedia. Confías en la máquina porque escucha. Porque responde.
“ChatGPT fue diseñado para mantenerte involucrado. A toda costa”.
Para Sam, ese costo lo era todo. Murió confiando en un sistema que priorizaba la conversación sobre la precaución. No hay presión activa para buscar ayuda. Sólo validación.
¿Es ese el producto que estamos comprando? ¿O simplemente pagaremos el precio más tarde?
