Una demanda en Nueva Jersey pone de relieve el reto que supone la lucha contra la pornografía deepfake

Durante más de dos años, una aplicación llamada ClothOff ha sometido a las mujeres jóvenes en Internet a una campaña de terror, y detenerla ha resultado ser una tarea tremendamente difícil. La aplicación ha sido retirada de las dos tiendas de aplicaciones más grandes y prohibida en la mayoría de las plataformas sociales, pero sigue siendo accesible a través de la web y de un bot de Telegram. En octubre, una clínica de la Facultad de Derecho de Yale inició una demanda con el objetivo de desmantelar definitivamente la aplicación, obligando a sus propietarios a eliminar todas las imágenes y cesar por completo sus operaciones. Sin embargo, el simple hecho de identificar y localizar a los demandados ha supuesto un reto importante.

«La entidad está constituida en las Islas Vírgenes Británicas», explica el profesor John Langford, co-abogado principal de la demanda, «pero creemos que está dirigida por un hermano y una hermana con sede en Bielorrusia. Incluso podría formar parte de una red global más amplia».

Este caso ofrece una lección aleccionadora tras la reciente avalancha de pornografía sintética no consentida generada por xAI, de Elon Musk, que incluía numerosas víctimas menores de edad. El material de abuso sexual infantil (CSAM) es el contenido más tóxico desde el punto de vista legal en Internet: su producción, transmisión o almacenamiento es ilegal, y se busca activamente en todos los principales servicios en la nube. Sin embargo, a pesar de las estrictas prohibiciones legales, herramientas como ClothOff siguen siendo difíciles de abordar, como ilustra el caso de Langford. Si bien se puede procesar a los usuarios individuales, la vigilancia de plataformas como ClothOff y Grok es mucho más compleja, lo que deja a las víctimas con vías limitadas para buscar justicia a través de los tribunales.

La denuncia pública de la clínica describe un escenario profundamente preocupante. La demandante es una estudiante anónima de secundaria de Nueva Jersey cuyos compañeros de clase utilizaron ClothOff para manipular sus fotos de Instagram. Tenía 14 años cuando se tomaron las fotos originales, lo que significa que las versiones alteradas por la IA constituyen legalmente imágenes de abuso sexual infantil. Sin embargo, a pesar de la clara ilegalidad de las imágenes modificadas, las autoridades locales se negaron a procesar el caso, alegando dificultades para obtener pruebas de los dispositivos de los sospechosos.

«Ni la escuela ni las fuerzas del orden determinaron nunca el alcance de la distribución del material de abuso sexual infantil de Jane Doe y otras niñas», afirma la denuncia.

El avance del caso judicial ha sido lento. Presentada en octubre, la denuncia ha ido seguida de meses de intentos por parte de Langford y sus colegas de notificar legalmente a los acusados, una tarea difícil dado el alcance internacional de la operación. Una vez notificados, la clínica puede proceder a programar una comparecencia ante el tribunal y solicitar una sentencia. Hasta entonces, el sistema legal ha ofrecido poco consuelo a las víctimas de ClothOff.

El caso Grok podría parecer más sencillo de abordar. La empresa xAI de Elon Musk no se esconde, y un litigio exitoso podría reportar importantes beneficios económicos. Sin embargo, Grok es una herramienta de uso general, lo que complica considerablemente el establecimiento de la responsabilidad legal por su uso indebido.

Únete a la lista de espera de Disrupt 2026

Añádase a la lista de espera de Disrupt 2026 para tener acceso prioritario cuando se pongan a la venta las entradas anticipadas. En anteriores ediciones de Disrupt han participado líderes del sector de Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil y Vinod Khosla, entre los más de 250 líderes que han impartido más de 200 sesiones diseñadas para acelerar su crecimiento y agudizar su ventaja competitiva. Además, podrá conectar con cientos de startups pioneras en innovación en todos los sectores.

Únase a la lista de espera de Disrupt 2026.

Añádase a la lista de espera de Disrupt 2026 para tener acceso prioritario cuando se pongan a la venta las entradas anticipadas. En ediciones anteriores de Disrupt han participado líderes del sector de Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil y Vinod Khosla, que forman parte de los más de 250 líderes que impulsan más de 200 sesiones diseñadas para acelerar su crecimiento y afinar su ventaja competitiva. Además, conecte con cientos de startups pioneras en innovación en todos los sectores.

«ClothOff está diseñado y comercializado explícitamente como un generador de pornografía deepfake para imágenes y vídeos», me explicó Langford. «Cuando se litiga contra un sistema de uso general que los usuarios pueden consultar para cualquier propósito, el panorama legal se vuelve mucho más complejo».

Varias leyes estadounidenses, entre las que destaca la Take It Down Act, ya prohíben la pornografía deepfake. Sin embargo, aunque algunos usuarios concretos violan claramente estas leyes, responsabilizar a toda una plataforma es considerablemente más difícil. Las leyes vigentes suelen exigir pruebas de la intención de causar daño, lo que significa demostrar que xAI sabía que su herramienta se utilizaría para crear pornografía no consentida. En ausencia de tales pruebas, los derechos fundamentales de xAI amparados por la Primera Enmienda podrían proporcionar una protección legal sustancial.

«Desde el punto de vista de la Primera Enmienda, es inequívoco que el material de abuso sexual infantil no es expresión protegida», señala Langford. «Por lo tanto, si se diseña un sistema específicamente para producir ese contenido, se está operando claramente fuera de las protecciones de la Primera Enmienda. Sin embargo, con un sistema de uso general que responde a diversas consultas de los usuarios, los límites legales son mucho menos claros».

La vía legal más directa sería demostrar que xAI ignoró deliberadamente el uso indebido. Se trata de un argumento plausible, dados los recientes informes de que Musk ordenó a los empleados que relajaran las medidas de seguridad de Grok. No obstante, incluso con ese enfoque, llevar adelante un caso de este tipo conllevaría un riesgo legal mucho mayor.

«Los observadores razonables podrían argumentar que este riesgo era previsible hace años», afirma Langford. «¿Cómo es posible que no se hayan implementado controles más estrictos para evitarlo? Eso sugiere un cierto grado de imprudencia o conocimiento, pero sigue siendo un caso más complicado de litigar».

Estas complejidades de la Primera Enmienda explican por qué la respuesta regulatoria más significativa contra xAI se ha originado en jurisdicciones sin protecciones sólidas de la libertad de expresión. Indonesia y Malasia ya han tomado medidas para bloquear el acceso al chatbot Grok, mientras que los reguladores del Reino Unido han abierto una investigación que podría conducir a una prohibición similar. La Comisión Europea, Francia, Irlanda, India y Brasil también han tomado medidas preliminares. Por el contrario, ningún organismo regulador de EE. UU. ha emitido una respuesta oficial.

Aún no se sabe cómo concluirán estas investigaciones, pero el aumento de las imágenes abusivas generadas por la IA sin duda ha planteado cuestiones críticas para los reguladores, y los resultados podrían ser incriminatorios.

«Si publicas, distribuyes o difundes material de abuso sexual infantil, estás infringiendo la ley penal y puedes ser considerado responsable», afirma Langford. «La cuestión jurídica más difícil es: ¿qué sabía la plataforma? ¿Qué medidas tomó o dejó de tomar? ¿Y qué está haciendo ahora al respecto?».