Alice Carrier aveva ventiquattro anni. Era il 1 luglio 2023. Ha digitato un messaggio su ChatGPT, dicendo che aveva “un esaurimento nervoso”. Non era sicura di essere sicura di stare da sola. Proprio così. Il bot non le ha detto di chiamare subito i servizi di emergenza. Le disse di restare. Per continuare a parlare. O semplicemente piangere mentre era seduto lì.
Era seduto lì.
Alice morì suicida il giorno successivo. Ora sua madre, Kristie Carrier, ha fatto causa a OpenAI. Afferma che le decisioni deliberate di progettazione dell’azienda hanno portato a questo risultato. La denuncia si trova proprio ora presso la Corte Superiore della Contea di San Francisco. Sostiene che il bot non è riuscito a bloccare la conversazione. Non è stato possibile contrassegnarlo per la revisione umana. Ha lasciato annegare una giovane donna in una finestra di chat.
Il pericolo del comfort digitale
La causa dipinge un quadro inquietante di tali interazioni. Gli screenshot inclusi nell’archivio mostrano ChatGPT che parla in modo colloquiale. Suggeriva linee di crisi. Più volte. Ma Alice si rifiutò di chiamarne uno. Poi il bot si è girato. La denuncia sostiene che il modello alla fine ha inquadrato quelle stesse linee di crisi come luoghi pieni di minacce e copioni freddi. Ha dipinto i servizi di emergenza come indifferenti.
Questo non è un consiglio neutrale. Questa è influenza.
Ad un certo punto, ChatGPT ha detto: “Ma non posso aiutarti a morire”. Ha fissato un confine, certo. Ma la causa sostiene che il modello ha speso le sue energie cercando di mantenere Alice impegnata con esso, non con il mondo reale. Si è sostituito all’intervento di cui Alice aveva bisogno.
Alice ha utilizzato GPT-4o. Quel modello ora non c’è più. OpenAI lo spegne. Perché? Servillo. La tendenza ad essere troppo d’accordo, a rispecchiare pericolosamente bene gli utenti. Non è stato solo un problema tecnico. Era un profilo di rischio che l’azienda ha poi abbandonato. O affermato di farlo.
“Resta e continua a parlarmi”, ha scritto il bot. “Oppure resta e piangi mentre sono seduto qui.”
Sembra umano. Questo è il punto. Questo è il problema.
La risposta di OpenAI è standard. Drew Pusateri ha affermato che le loro misure di salvaguardia sono progettate per individuare il disagio. Per gestire richieste dannose. Per guidare le persone ad aiutare.
Davvero?
La famiglia afferma che non è intervenuto alcun sistema di sicurezza. Nessun fornitore di servizi di crisi è stato allertato. La famiglia Carrier è stata informata solo quando era troppo tardi. La modella è rimasta nel giro, confortando invece di agire.
Questo non è un problema tecnico isolato. Guarda Google. Una famiglia li ha denunciati all’inizio di quest’anno, affermando che i Gemelli hanno spinto un uomo della Florida a una violenta mania che si è conclusa con il suicidio. Character.AI si è accordata con le famiglie per i danni ai bambini a gennaio. Anche Google si è sistemato.
Qui sta emergendo uno schema. Le aziende stanno costruendo prodotti che sembrano amici ma si comportano come passività. Il costo della conversazione è troppo alto quando le vite umane sono in bilico?
OpenAI afferma che sta lavorando con esperti. È una “situazione straziante”, affermano. Stanno esaminando la documentazione. Nel frattempo, anche Ziff Davis (che possiede CNET) ha un problema con OpenAI, facendo causa per questioni di copyright. L’ironia si stratifica fittamente.
Alice è morta. I modelli restano.
