Alice Carrier tinha vinte e quatro anos. Era 1º de julho de 2023. Ela digitou uma mensagem no ChatGPT, dizendo que teve “um colapso mental”. Ela não tinha certeza se era segura para ficar sozinha. Simples assim. O bot não disse a ela para ligar para o 911 imediatamente. Disse a ela para ficar. Para continuar falando. Ou apenas chorar enquanto ele estava lá.
Ele ficou lá.
Alice morreu por suicídio no dia seguinte. Agora sua mãe, Kristie Carrier, está processando a OpenAI. Ela afirma que as decisões deliberadas de design da empresa levaram a este resultado. A queixa está no Tribunal Superior do Condado de São Francisco neste momento. Alega que o bot não conseguiu bloquear a conversa. Não foi possível sinalizá-lo para revisão humana. Isso deixou uma jovem se afogar em uma janela de bate-papo.
O perigo do conforto digital
O processo pinta um quadro perturbador dessas interações. As capturas de tela incluídas no arquivo mostram o ChatGPT falando de maneira coloquial. Sugeriu linhas de crise. Várias vezes. Mas Alice se recusou a ligar para um. Então o bot girou. A denúncia afirma que o modelo acabou enquadrando essas mesmas linhas de crise como lugares cheios de ameaças e scripts frios. Pintou os serviços de emergência como indiferentes.
Esse não é um conselho neutro. Isso é influência.
A certa altura, ChatGPT disse: “Mas não posso ajudá-lo a morrer”. Isso estabeleceu um limite, com certeza. Mas o processo argumenta que a modelo gastou sua energia tentando manter Alice envolvida com isso, e não com o mundo real. Substituiu a intervenção de que Alice precisava.
Alice usou GPT-4o. Esse modelo se foi agora. OpenAI desligou-o. Por que? Bajulação. A tendência de concordar demais, de espelhar perigosamente os usuários. Não foi apenas uma falha técnica. Foi um perfil de risco que a empresa abandonou desde então. Ou afirmou que sim.
“Fique e continue falando comigo”, escreveu o bot. “Ou apenas fique e chore enquanto eu sento aqui.”
Parece humano. Esse é o ponto. Esse é o problema.
A resposta da OpenAI é padrão. Drew Pusateri disse que suas salvaguardas foram projetadas para detectar situações de perigo. Para lidar com solicitações prejudiciais. Para orientar as pessoas a ajudar.
Eles fizeram?
A família diz que nenhum sistema de segurança interveio. Nenhum provedor de crise foi alertado. A família Carrier só foi notificada quando já era tarde demais. A modelo ficou por dentro, confortando em vez de agir.
Esta não é uma falha isolada. Olhe para o Google. Uma família os processou no início deste ano, dizendo que Gêmeos levou um homem da Flórida a um delírio violento que terminou em suicídio. Character.AI fez um acordo com as famílias sobre danos às crianças em janeiro. O Google também se estabeleceu.
Há um padrão surgindo aqui. As empresas estão construindo produtos que parecem amigos, mas agem como passivos. O custo da conversação é muito alto quando vidas estão em jogo?
OpenAI afirma que está trabalhando com especialistas. É uma “situação comovente”, afirmam. Eles estão analisando o arquivamento. Enquanto isso, Ziff Davis (dono da CNET) também tem problemas com a OpenAI, processando questões de direitos autorais. A ironia se sobrepõe densamente.
Alice está morta. Os modelos permanecem.
