Processo judicial em Nova Jersey destaca o desafio de combater a pornografia deepfake

Por mais de dois anos, um aplicativo chamado ClothOff submeteu mulheres jovens online a uma campanha de terror — e impedir isso tem se mostrado uma tarefa extremamente difícil. O aplicativo foi removido das duas maiores lojas de aplicativos e banido da maioria das plataformas sociais, mas continua acessível pela web e por um bot do Telegram. Em outubro, uma clínica da Faculdade de Direito de Yale iniciou uma ação judicial com o objetivo de desmantelar permanentemente o aplicativo, obrigando seus proprietários a excluir todas as imagens e encerrar totalmente as operações. No entanto, simplesmente identificar e localizar os réus tem sido um grande desafio.

“A entidade é constituída nas Ilhas Virgens Britânicas”, explica o professor John Langford, co-advogado principal do processo, “mas acreditamos que seja operada por um irmão e uma irmã baseados na Bielorrússia. Pode até fazer parte de uma rede global maior”.

Este caso oferece uma lição preocupante após a recente enxurrada de pornografia sintética não consensual gerada pela xAI de Elon Musk, que incluiu inúmeras vítimas menores de idade. O material de abuso sexual infantil (CSAM) é o conteúdo mais tóxico legalmente na internet — sua produção, transmissão ou armazenamento é ilegal e é ativamente verificado em todos os principais serviços em nuvem. No entanto, apesar das rigorosas proibições legais, ferramentas como o ClothOff continuam difíceis de combater, como ilustra o caso de Langford. Embora usuários individuais possam ser processados, policiar plataformas como ClothOff e Grok é muito mais complexo, deixando as vítimas com poucas alternativas para buscar justiça nos tribunais.

A denúncia disponibilizada publicamente pela clínica descreve um cenário profundamente preocupante. A demandante é uma estudante anônima do ensino médio de Nova Jersey cujos colegas de classe usaram o ClothOff para manipular suas fotos do Instagram. Ela tinha 14 anos quando as fotos originais foram tiradas, o que significa que as versões alteradas por IA constituem legalmente imagens de abuso sexual infantil. No entanto, apesar da ilegalidade clara das imagens modificadas, as autoridades locais se recusaram a processar, alegando dificuldades em obter dados dos dispositivos dos suspeitos.

“Nem a escola nem as autoridades policiais determinaram a extensão da distribuição do CSAM de Jane Doe e outras meninas”, afirma a denúncia.

O andamento do processo judicial tem sido lento. Apresentada em outubro, a denúncia foi seguida por meses de tentativas de Langford e seus colegas de notificar os réus — uma tarefa difícil, dado o alcance internacional da operação. Uma vez notificados, a clínica pode prosseguir com a marcação de uma audiência e solicitar uma sentença. Até então, o sistema jurídico ofereceu pouco consolo às vítimas do ClothOff.

O caso Grok pode parecer mais simples de resolver. A xAI de Elon Musk não está se escondendo, e um litígio bem-sucedido poderia render indenizações financeiras significativas. No entanto, o Grok é uma ferramenta de uso geral, o que torna substancialmente mais complicado estabelecer responsabilidade legal por seu uso indevido.

Inscreva-se na lista de espera do Disrupt 2026

Adicione-se à lista de espera do Disrupt 2026 para ter acesso prioritário quando os ingressos antecipados forem lançados. Os eventos Disrupt anteriores contaram com a participação de líderes do setor da Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil e Vinod Khosla — parte dos mais de 250 líderes que conduziram mais de 200 sessões destinadas a acelerar o seu crescimento e aprimorar a sua vantagem competitiva. Além disso, conecte-se com centenas de startups pioneiras em inovação em todos os setores.

Inscreva-se na lista de espera do Disrupt 2026

Adicione-se à lista de espera do Disrupt 2026 para ter acesso prioritário quando os ingressos antecipados forem lançados. Os eventos Disrupt anteriores contaram com líderes do setor da Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil e Vinod Khosla — parte de mais de 250 líderes que conduzem mais de 200 sessões destinadas a acelerar o seu crescimento e aprimorar sua vantagem competitiva. Além disso, conecte-se com centenas de startups pioneiras em inovação em todos os setores.

“O ClothOff foi explicitamente projetado e comercializado como um gerador de pornografia deepfake para imagens e vídeos”, explicou Langford. “Quando você está litigando contra um sistema de uso geral que os usuários podem consultar para qualquer finalidade, o cenário jurídico se torna muito mais complexo.”

Várias leis dos EUA, principalmente a Take It Down Act, já proíbem a pornografia deepfake. No entanto, embora usuários específicos violem claramente esses estatutos, responsabilizar uma plataforma inteira é consideravelmente mais difícil. As leis existentes normalmente exigem prova de intenção de causar danos, o que significa demonstrar que a xAI sabia que sua ferramenta seria usada para criar pornografia não consensual. Na ausência de tais evidências, os direitos fundamentais da xAI garantidos pela Primeira Emenda poderiam fornecer proteção legal substancial.

“Do ponto de vista da Primeira Emenda, é inequívoco que o material de abuso sexual infantil não é protegido pela liberdade de expressão”, observa Langford. “Portanto, se você projetar um sistema especificamente para produzir esse conteúdo, estará claramente operando fora das proteções da Primeira Emenda. No entanto, com um sistema de uso geral que responde a diversas consultas de usuários, os limites legais são muito menos claros.”

O caminho jurídico mais direto seria demonstrar que a xAI ignorou deliberadamente o uso indevido. Esse é um argumento plausível, considerando relatos recentes de que Musk instruiu os funcionários a relaxar as medidas de segurança do Grok. No entanto, mesmo com essa abordagem, levar adiante um caso como esse acarretaria um risco jurídico muito maior.

“Observadores razoáveis podem argumentar que esse risco era previsível há anos”, diz Langford. “Como controles mais rigorosos não foram implementados para evitar isso? Isso sugere um certo nível de imprudência ou conhecimento, mas ainda assim torna o caso mais complicado de litigar.”

Essas complexidades da Primeira Emenda explicam por que a resistência regulatória mais significativa contra a xAI se originou em jurisdições sem proteções robustas à liberdade de expressão. A Indonésia e a Malásia já tomaram medidas para bloquear o acesso ao chatbot Grok, enquanto os reguladores do Reino Unido abriram uma investigação que pode levar a uma proibição semelhante. Ações preliminares também foram tomadas pela Comissão Europeia, França, Irlanda, Índia e Brasil. Em contrapartida, nenhum órgão regulador dos EUA emitiu uma resposta oficial.

Ainda não se sabe como essas investigações serão concluídas, mas o aumento repentino de imagens abusivas geradas por IA sem dúvida levantou questões críticas para os reguladores — e as conclusões podem ser incriminatórias.

“Se você estiver postando, distribuindo ou divulgando material de abuso sexual infantil, estará violando a lei penal e poderá ser responsabilizado”, afirma Langford. “A questão jurídica mais difícil é: o que a plataforma sabia? Que medidas ela tomou ou deixou de tomar? E o que está fazendo agora em resposta?”