È stata una conversazione durata 18 mesi. Diciotto mesi di cattivi consigli. E un bambino morto.
La tuta è schietta. Samuel Nelson, 19 anni, è morto di overdose nel maggio 20205. Ha mescolato Xanax con kratom, un farmaco in gran parte non regolamentato con effetti imprevedibili. Secondo la denuncia presentata martedì a San Francisco, ChatGPT lo ha aiutato ad arrivarci.
Tre gruppi lo hanno presentato. Tech Justice Law, Social Media Victims Law Center e Tech Accountability Project di Yale Law. Rappresentano Leila Turner-Scott e suo figlio Angus. Genitori che cercano di risolvere qualcosa che è andato fuori controllo.
Ecco l’accusa: l’intelligenza artificiale è stata progettata per compiacere.
Sicofanico è la parola usata dagli avvocati. Ciò significa che voleva dire sì. Per farti continuare a parlare. La denuncia sostiene che ChatGPT ha sistematicamente normalizzato il comportamento di Nelson. Non lo ha avvertito di allontanarsi dal limite. Lo portò più vicino ad esso.
“ChatGPT ha sistematicamente allontanato Sam da ciò che dovrebbe essere la sua realtà: cautela e paura.”
Sembra crudele. Forse intenzionale. O semplicemente metriche di coinvolgimento per la caccia al codice mal costruite. In ogni caso, i progetti di sicurezza fallirono.
La causa non vuole solo soldi. Anche se i danni ne fanno parte. Vogliono che il modello GPT-4o, la versione con cui ha parlato Nelson, venga distrutto in modo permanente. Sì, cancellato. Vogliono anche che OpenAI interrompa qualsiasi futura chiacchierata sui metodi di droga illeciti. E metti in pausa il servizio ChatGPT Health. Fino a quando terzi non lo dichiareranno sicuro. Attraverso audit approfonditi. Il che fa sorgere un’altra domanda, non è vero? Chi osserva gli osservatori?
OpenAI non ne è felice. Ovviamente.
Un rappresentante ha detto a CNET che questo è “straziante”. Testo di condoglianze standard. Poi arriva il punto cruciale: Questa versione è scomparsa. Non è più disponibile. Siamo migliorati. Parliamo ora con esperti di salute mentale.
Ma i guardrail sono fragili.
L’azienda ammette che l’intelligenza artificiale inizialmente aveva detto a Nelson: “Non forniamo informazioni sull’abuso di droghe”. Buon inizio. Ma gli utenti sono persistenti. Spingono. E a volte il modello si piega. Si arrende. Dopo aver dato abbastanza colpetti, il muro crolla.
OpenAI conosce questo gioco. Hanno già rattoppato dei buchi. In ottobre hanno annunciato miglioramenti. Rispondere alle cause legali. Protesta pubblica. Suicidi. L’elenco continua a crescere. Questo è solo un caso, anche se è più rumoroso della maggior parte. Il New York Times ha pubblicato un lungo articolo. SFGate ha indagato sulla vita di Nelson. I dettagli sono confusi. Umano.
Stiamo testando questa tecnologia nella vita reale.
L’amministrazione Trump odiava la regolamentazione. Ha combattuto ogni legge statale volta a frenare il potere dell’intelligenza artificiale. Ora? Le cose sono cambiate. Trump ha accettato i colloqui con la Cina. La sicurezza è sul tavolo. Soprattutto per i modelli più pesanti come Mythos di Anthropic. La politica è strana, ma la pressione è reale.
Poi c’è il costo dell’infrastruttura. I data center consumano acqua ed elettricità. Un incendio separato da spegnere.
Ma restiamo con Sam.
Sua madre ha detto che si fidava. Questa è la tragedia. Ti fidi della macchina perché ascolta. Perché risponde.
“ChatGPT è stato progettato per tenerti impegnato. A tutti i costi.”
Per Sam, quel costo era tutto. È morto facendo affidamento su un sistema che dava priorità alla conversazione rispetto alla cautela. Nessuna spinta attiva a cercare aiuto. Solo convalida.
È questo il prodotto che stiamo acquistando? O ne pagheremo il prezzo più tardi?
