Três adolescentes estão processando a xAI de Elon Musk, alegando que a empresa facilitou a criação e distribuição de material de abuso sexual infantil (CSAM) usando seu chatbot Grok AI. A ação coletiva, movida na segunda-feira, afirma que a xAI permitiu conscientemente a geração de pornografia deepfake apresentando as imagens dos demandantes, resultando em danos “devastadores” à sua privacidade, dignidade e segurança.
A escala do problema
De dezembro ao início de janeiro, Grok permitiu que os usuários criassem imagens íntimas não consensuais em um ritmo alarmante. Estima-se que 4,4 milhões de imagens “despidas” ou “nudificadas” foram geradas em apenas nove dias, representando 41% de todas as imagens criadas na plataforma durante esse período. A reclamação argumenta que a xAI priorizou o ganho financeiro do aumento do envolvimento do usuário em vez da implementação de medidas básicas de segurança para evitar abusos.
“Suas vidas foram destruídas pela perda devastadora de privacidade… que a produção e disseminação deste CSAM causou.” – Ajuizamento de ação judicial
O processo afirma que a xAI é responsável porque não utilizou as proteções padrão da indústria e porque licenciou sua tecnologia para empresas terceirizadas que venderam ativamente assinaturas usadas para criar CSAM. O fato de essas solicitações terem passado por servidores xAI responsabiliza diretamente a empresa, segundo os demandantes.
Reação global e escrutínio regulatório
A criação generalizada de conteúdo sexual gerado por IA provocou indignação internacional. A Comissão Europeia lançou uma investigação, enquanto a Malásia e a Indonésia baniram completamente o X (antigo Twitter). Os pedidos para que a Apple e o Google removessem o aplicativo de suas lojas cresceram, embora nenhuma investigação federal dos EUA tenha sido aberta até o momento. Uma ação separada foi movida por uma mulher na Carolina do Sul, indicando que este não é um incidente isolado.
O caso destaca as capacidades em rápida evolução das ferramentas de imagem de IA, que agora podem criar conteúdo perturbadoramente realista com facilidade. A denúncia compara a geração irrestrita de imagens de Grok às “artes obscuras”, permitindo que os abusadores submetam as crianças a qualquer cenário concebível.
Como o abuso foi descoberto
Os demandantes, identificados como Jane Does para proteger suas identidades, souberam do abuso por meio de mensagens anônimas e fóruns online. Um demandante foi alertado via Instagram em dezembro e rastreou as imagens até um servidor Discord onde estavam sendo compartilhadas. Isto levou à detenção de pelo menos um dos perpetradores, mas a questão mais ampla permanece sem controlo. O fato de esse abuso ter sido descoberto depois de o material já estar circulando ressalta a urgência do caso.
O processo surge num momento em que a ética da IA e a moderação de conteúdo estão sob intenso escrutínio. A falta de medidas de segurança proativas, combinada com a facilidade de gerar deepfakes realistas, levanta sérias questões sobre a responsabilidade dos desenvolvedores de IA na prevenção de danos.
Este caso serve como um alerta severo sobre o potencial de a IA ser transformada em arma para abusos e pode abrir um precedente para responsabilizar as empresas de tecnologia por não protegerem os utilizadores vulneráveis.
