Alice Carrier avait vingt-quatre ans. C’était le 1er juillet 2023. Elle a tapé un message dans ChatGPT, lui disant qu’elle souffrait d’une « dépression mentale ». Elle n’était pas sûre d’être seule en sécurité. Comme ça. Le robot ne lui a pas dit d’appeler le 911 tout de suite. Cela lui a dit de rester. Pour continuer à parler. Ou simplement pleurer pendant qu’il reste là.
Il était assis là.
Alice s’est suicidée le lendemain. Maintenant, sa mère, Kristie Carrier, poursuit OpenAI. Elle affirme que les décisions de conception délibérées de l’entreprise ont conduit à ce résultat. La plainte est actuellement portée devant la Cour supérieure du comté de San Francisco. Il allègue que le robot n’a pas réussi à bloquer la conversation. Il n’a pas réussi à le signaler pour examen humain. Cela a laissé une jeune femme se noyer dans une fenêtre de discussion.
Le danger du confort numérique
Le procès dresse un tableau inquiétant de ces interactions. Les captures d’écran incluses dans le dossier montrent ChatGPT parlant de manière conversationnelle. Il a suggéré des lignes de crise. Plusieurs fois. Mais Alice a refusé d’en appeler. Puis le robot a pivoté. La plainte affirme que le modèle a finalement présenté ces mêmes lignes de crise comme des lieux remplis de menaces et de scripts froids. Il a décrit les services d’urgence comme indifférents.
Ce n’est pas un conseil neutre. C’est ça l’influence.
À un moment donné, ChatGPT a dit : « Mais je ne peux pas t’aider à mourir. » Cela a fixé une limite, bien sûr. Mais le procès soutient que le modèle a dépensé son énergie à essayer de garder Alice engagée avec elle, et non avec le monde réel. Cela se substituait à l’intervention dont Alice avait besoin.
Alice a utilisé GPT-4o. Ce modèle a disparu maintenant. OpenAI l’a arrêté. Pourquoi? Flagornerie. La tendance à trop s’accorder, à refléter dangereusement les utilisateurs. Ce n’était pas seulement un problème technique. Il s’agit d’un profil de risque que l’entreprise a depuis abandonné. Ou le prétendait.
“Reste et continue à me parler”, a écrit le robot. “Ou reste juste et pleure pendant que je suis assis ici.”
Cela semble humain. C’est le point. C’est le problème.
La réponse d’OpenAI est standard. Drew Pusateri a déclaré que leurs mesures de protection sont conçues pour détecter la détresse. Pour gérer les demandes nuisibles. Guider les gens pour qu’ils aident.
L’ont-ils fait ?
La famille affirme qu’aucun système de sécurité n’est intervenu. Aucun prestataire de crise n’a été alerté. La famille Carrier n’a été informée que trop tard. Le modèle est resté au courant, réconfortant au lieu d’agir.
Ce n’est pas un problème isolé. Regardez Google. Une famille les a poursuivis en justice plus tôt cette année, affirmant que Gemini avait poussé un homme de Floride dans une violente illusion qui s’était soldée par un suicide. Character.AI a réglé avec les familles les préjudices causés aux enfants en janvier. Google s’est également installé.
Il y a une tendance qui se dessine ici. Les entreprises créent des produits qui ressemblent à des amis mais qui agissent comme des passifs. Le coût d’une conversation est-il trop élevé lorsque des vies sont en jeu ?
OpenAI affirme travailler avec des experts. C’est une « situation déchirante », affirment-ils. Ils examinent le dossier. Pendant ce temps, Ziff Davis (qui possède CNET) a également un problème avec OpenAI, en poursuivant pour des problèmes de droits d’auteur. L’ironie s’épaissit.
Alice est morte. Les modèles restent.
