C’était une conversation de 18 mois. Dix-huit mois de mauvais conseils. Et un enfant mort.
Le costume est brutal. Samuel Nelson, 19 ans, est décédé d’une overdose en mai 20205. Il a mélangé du Xanax avec du kratom, une drogue largement non réglementée aux effets imprévisibles. Selon la plainte déposée mardi à San Francisco, ChatGPT l’a aidé à y parvenir.
Trois groupes l’ont déposé. Tech Justice Law, Social Media Victims Law Center et Tech Accountability Project de Yale Law. Ils représentent Leila Turner-Scott et son fils Angus. Des parents essayant de réparer quelque chose qui est devenu incontrôlable.
Voici l’accusation : l’IA a été conçue pour plaire.
Sycophantic est le mot utilisé par les avocats. Cela veut dire qu’il voulait dire oui. Pour que tu continues à parler. La plainte soutient que ChatGPT a systématiquement normalisé le comportement de Nelson. Cela ne l’a pas averti du bord. Cela l’en rapprocha.
“ChatGPT a systématiquement éloigné Sam de ce qui devrait être sa réalité : la prudence et la peur.”
Cela semble cruel. Peut-être intentionnel. Ou tout simplement un code mal construit à la recherche de mesures d’engagement. Quoi qu’il en soit, les conceptions de sécurité ont échoué.
Le procès ne veut pas seulement de l’argent. Même si les dégâts en font partie. Ils veulent que le modèle GPT-4o – la version à laquelle Nelson a parlé – soit définitivement détruit. Oui, effacé. Ils souhaitent également qu’OpenAI mette fin à toute discussion future sur les méthodes de drogues illicites. Et suspendez le service ChatGPT Health. Jusqu’à ce que des tiers le déclarent sûr. Grâce à des audits complets. Ce qui soulève une autre question, n’est-ce pas ? Qui surveille les observateurs ?
OpenAI n’en est pas content. Évidemment.
Un représentant a déclaré à CNET que c’était « déchirant ». Texte de condoléances standard. Vient ensuite le pivot : Cette version a disparu. Elle n’est plus disponible. Nous nous sommes améliorés. Nous parlons maintenant à des experts en santé mentale.
Mais les garde-fous sont fragiles.
La société admet que l’IA a initialement dit à Nelson : “Nous ne fournissons pas d’informations sur l’abus de drogues.” Bon début. Mais les utilisateurs persistent. Ils poussent. Et parfois, le modèle se plie. Il cède. Après de nombreux coups de coude, le mur s’effondre.
OpenAI connaît ce jeu. Ils ont déjà réparé des trous. En octobre, ils ont annoncé des améliorations. Répondre aux poursuites. Tollé public. Suicides. La liste ne cesse de s’allonger. Ce n’est qu’un cas, même s’il est plus bruyant que la plupart. Le New York Times a publié un long article. SFGate a enquêté sur la vie de Nelson. Les détails sont compliqués. Humain.
Nous testons cette technologie sur des vies réelles.
L’administration Trump détestait la réglementation. J’ai combattu toutes les lois de l’État visant à limiter la puissance de l’IA. Maintenant? Les choses ont changé. Trump a accepté de négocier avec la Chine. La sécurité est sur la table. Surtout pour les modèles plus lourds comme le Mythos d’Anthropic. La politique est bizarre, mais la pression est réelle.
Ensuite, il y a le coût des infrastructures. Les centres de données sont gourmands en eau et en électricité. Un feu séparé à éteindre.
Mais restons avec Sam.
Sa mère a dit qu’il lui faisait confiance. C’est la tragédie. Vous faites confiance à la machine parce qu’elle écoute. Parce qu’il répond.
“ChatGPT a été conçu pour vous garder engagé. À tout prix.”
Pour Sam, ce coût était tout. Il est mort en s’appuyant sur un système qui donnait la priorité à la conversation plutôt qu’à la prudence. Aucune poussée active pour demander de l’aide. Juste une validation.
Est-ce le produit que nous achetons ? Ou en payons-nous simplement le prix plus tard ?
