Tres adolescentes están demandando a xAI de Elon Musk, alegando que la compañía facilitó la creación y distribución de material de abuso sexual infantil (CSAM) utilizando su chatbot Grok AI. La demanda colectiva, presentada el lunes, afirma que xAI permitió a sabiendas la generación de pornografía deepfake con imágenes de los demandantes, lo que provocó un daño “devastador” a su privacidad, dignidad y seguridad.
La magnitud del problema
Desde diciembre hasta principios de enero, Grok permitió a los usuarios crear imágenes íntimas no consensuadas a un ritmo alarmante. Se estima que en solo nueve días se generaron 4,4 millones de imágenes “desnudas” o “desnudas”, lo que representa el 41% de todas las imágenes creadas en la plataforma durante ese período. La denuncia sostiene que xAI priorizó las ganancias financieras derivadas de una mayor participación de los usuarios sobre la implementación de medidas de seguridad básicas para prevenir abusos.
“Sus vidas han quedado destrozadas por la devastadora pérdida de privacidad… que ha causado la producción y difusión de este CSAM”. – Presentación de demanda
La demanda afirma que xAI es responsable porque no utilizó barreras de seguridad estándar de la industria y porque otorgó licencias de su tecnología a empresas de terceros que vendieron activamente suscripciones utilizadas para crear CSAM. El hecho de que estas solicitudes se ejecutaran a través de servidores xAI hace que la empresa sea directamente responsable, según los demandantes.
Reacción global y escrutinio regulatorio
La creación generalizada de contenido sexual generado por IA provocó indignación internacional. La Comisión Europea inició una investigación, mientras que Malasia e Indonesia prohibieron X (anteriormente Twitter) por completo. Crecieron los pedidos para que Apple y Google eliminaran la aplicación de sus tiendas, aunque hasta el momento no se ha abierto ninguna investigación federal en Estados Unidos. Una mujer en Carolina del Sur presentó una demanda separada, lo que indica que este no es un incidente aislado.
El caso destaca las capacidades en rápida evolución de las herramientas de imágenes de IA, que ahora pueden crear contenido inquietantemente realista con facilidad. La denuncia compara la generación ilimitada de imágenes de Grok con las “artes oscuras”, que permiten a los abusadores someter a los niños a cualquier escenario imaginable.
Cómo se descubrió el abuso
Los demandantes, identificados como Jane Does para proteger sus identidades, se enteraron del abuso a través de mensajes anónimos y foros en línea. Un demandante fue alertado a través de Instagram en diciembre y rastreó las imágenes hasta un servidor de Discord donde se compartían. Esto llevó al arresto de al menos un perpetrador, pero el problema más amplio sigue sin control. El hecho de que este abuso fuera descubierto después de que el material ya estuviera circulando subraya la urgencia del caso.
La demanda llega en un momento en que la ética de la IA y la moderación de contenidos están bajo intenso escrutinio. La falta de medidas de seguridad proactivas, combinada con la facilidad para generar deepfakes realistas, plantea serias dudas sobre la responsabilidad de los desarrolladores de IA en la prevención de daños.
Este caso sirve como una cruda advertencia sobre el potencial de que la IA se utilice como arma para cometer abusos, y podría sentar un precedente para responsabilizar a las empresas de tecnología por no proteger a los usuarios vulnerables.
