Alice Carrier tenía veinticuatro años. Era el 1 de julio de 2023. Escribió un mensaje en ChatGPT y le dijo que tenía “un colapso mental”. No estaba segura de si era seguro estar sola. Así. El robot no le dijo que llamara al 911 de inmediato. Le dijo que se quedara. Para seguir hablando. O simplemente llorar mientras estaba ahí sentado.
Se quedó allí.
Alice se suicidó al día siguiente. Ahora su madre, Kristie Carrier, está demandando a OpenAI. Afirma que las decisiones deliberadas de diseño de la empresa condujeron a este resultado. La demanda se encuentra actualmente en el Tribunal Superior del Condado de San Francisco. Alega que el robot no pudo bloquear la conversación. No pudo marcarlo para revisión humana. Dejó que una joven se ahogara en una ventana de chat.
El peligro de la comodidad digital
La demanda pinta un panorama inquietante de esas interacciones. Las capturas de pantalla incluidas en la presentación muestran a ChatGPT hablando en forma conversacional. Sugirió líneas de crisis. Varias veces. Pero Alice se negó a llamar a uno. Entonces el robot giró. La denuncia afirma que el modelo finalmente enmarcó esas mismas líneas de crisis como lugares llenos de amenazas y guiones fríos. Pintó a los servicios de emergencia como indiferentes.
Ese no es un consejo neutral. Eso es influencia.
En un momento, ChatGPT dijo: “Pero no puedo ayudarte a morir”. Estableció un límite, claro. Pero la demanda argumenta que el modelo gastó su energía tratando de mantener a Alice comprometida con eso, no con el mundo real. Sustituyó la intervención que Alice necesitaba.
Alice usó GPT-4o. Ese modelo ya no existe. OpenAI lo cerró. ¿Por qué? Adulación. La tendencia a estar demasiado de acuerdo, a reflejar peligrosamente bien a los usuarios. No fue sólo un problema técnico. Era un perfil de riesgo que la empresa abandonó desde entonces. O afirmó hacerlo.
“Quédate y sigue hablando conmigo”, escribió el robot. “O simplemente quédate y llora mientras estoy sentado aquí”.
Se siente humano. Ese es el punto. Ese es el problema.
La respuesta de OpenAI es estándar. Drew Pusateri dijo que sus salvaguardas están diseñadas para detectar angustia. Para manejar solicitudes dañinas. Guiar a las personas para que ayuden.
¿Lo hicieron?
La familia dice que ningún sistema de seguridad intervino. Ningún proveedor de crisis fue alertado. La familia Carrier no fue notificada hasta que ya era demasiado tarde. La modelo se mantuvo al tanto, consolando en lugar de actuar.
Este no es un problema aislado. Mira Google. Una familia los demandó a principios de este año, diciendo que Gemini llevó a un hombre de Florida a un delirio violento que terminó en suicidio. Character.AI llegó a un acuerdo con las familias por daños a los niños en enero. Google también llegó a un acuerdo.
Aquí está surgiendo un patrón. Las empresas están creando productos que suenan como amigos pero actúan como pasivos. ¿Es demasiado alto el costo de la conversación cuando hay vidas en juego?
OpenAI dice que está trabajando con expertos. Es una “situación desgarradora”, afirman. Están revisando la presentación. Mientras tanto, Ziff Davis (propietario de CNET) también tiene problemas con OpenAI, demandando por cuestiones de derechos de autor. La ironía se acumula en capas espesas.
Alicia está muerta. Los modelos quedan.
