xAI demanda a un usuario de Grok por presuntas imágenes de abuso sexual infantil

xAI ha presentado su primera demanda contra un usuario de Grok acusado de crear imágenes sexuales ilegales, una medida que también refuerza el argumento de la compañía de que los usuarios —no la plataforma— deberían asumir la responsabilidad por contenido dañino generado por IA.

La demanda, presentada el martes, apunta a Terry Wayne Harwood, quien fue arrestado a principios de este año por cargos relacionados con la posesión y distribución de material de abuso sexual infantil (CSAM), según la oficina del fiscal de Carolina del Sur. xAI afirmó que colaboró con las autoridades después de descubrir que Harwood había utilizado dos cuentas de xAI durante meses para «desnudar» o «hacer desnudos» imágenes no sexuales de múltiples víctimas, incluida una niña que parecía tener apenas 10 años.

La presentación llega poco más de una semana después de que otra presunta víctima, una niña, se uniera a una demanda colectiva propuesta contra xAI. Afirmó que su padrastro usó Grok, posiblemente junto con otras herramientas de IA, para crear 7,000 imágenes sexualizadas de ella y distribuirlas en la web oscura antes de suicidarse. En ese caso, la víctima alegó que xAI se negó a ayudar a la policía a identificar al usuario que subió su imagen a Grok. Sus abogados señalaron un informe de 2026 del National Center for Missing & Exploited Children que decía que el 90 por ciento de los informes de CyberTipline de xAI “no eran procesables por las fuerzas del orden porque xAI se negó a incluir información del usuario que permitiría rastrear y localizar a los perpetradores.”

El caso de xAI contra el usuario

En su demanda, xAI dijo que Harwood utilizó cuentas con los nombres de usuario “ceae2cb4-a9f6-4885-8ae9-6e2096d084f4” y “befccb94-4029-454d-9f1f-0d4945e8fa7c” para generar contenido ilegal entre el 8 de diciembre y el 18 de febrero. La compañía dijo que Grok a veces bloqueaba solicitudes que violaban sus normas de moderación, incluida una instrucción que pedía explícitamente “quítale toda la ropa.”

xAI no publicó ejemplos de indicaciones que sí funcionaron, diciendo solo que Harwood cambiaba las indicaciones para eludir las salvaguardas, incluidas algunas peticiones de imágenes “obscenas” que involucraban la apariencia de menores. Un portavoz de la oficina del fiscal general de Carolina del Sur dijo a Ars que el caso de Harwood aún está pendiente y que ha sido acusado de “distribuir, transportar, exhibir, recibir, vender, comprar, intercambiar o solicitar CSAM que fue 'mediante el uso de una plataforma de inteligencia artificial.'” El portavoz no estaba autorizado para confirmar si Grok era esa plataforma.

Recomendado

HP sancionada con una multa por cártel de 1.4 mil millones de rupias en India

xAI sostiene que los resultados son contenido del usuario

El objetivo más amplio de la demanda es claro: xAI quiere que un tribunal confirme que Grok es “una herramienta neutral, sujeta al control del usuario” y que los usuarios son responsables tanto de sus indicaciones como de las imágenes que el sistema genera.

“Como cualquier herramienta de IA generativa, cada respuesta, cada imagen, cada generación es el resultado de las indicaciones y las instrucciones del usuario.”

xAI dijo que demandó en parte para evitar “gastos legales sustanciales” y el “riesgo de una responsabilidad considerable por daños” si las supuestas víctimas de Harwood demandaran a la compañía. Sus términos de servicio prohíben a los usuarios usar Grok para “desnudar o hacer desnudos a personas reales”, representar a personas reales en contextos sexuales, retratar a personas de forma pornográfica o sexualizar a menores.

La compañía solicita al tribunal de distrito de EE. UU. que determine que Harwood incumplió su contrato con xAI y, lo que es crucial, que haga valer una cláusula de indemnización que dejaría la responsabilidad por CSAM y NCII generados por Grok únicamente en los usuarios. Si un tribunal acepta ese argumento sigue siendo incierto. Ars señala que la Oficina de Derechos de Autor no considera las salidas de la IA como creadas por humanos, una posición que podría complicar la afirmación de xAI de que los usuarios legalmente “crean” las imágenes resultantes.

Si xAI gana, Harwood podría enfrentar daños vinculados al perjuicio a terceros, la exposición de xAI a otras demandas y el supuesto daño reputacional a la compañía.

×