Procurador-geral da Califórnia investiga Musk por suposto conteúdo impróprio para menores no chatbot Grok.

Elon Musk afirmou na quarta-feira que “não tem conhecimento de que o Grok tenha gerado imagens de nudez de menores”, poucas horas antes de o procurador-geral da Califórnia anunciar uma investigação sobre o chatbot da xAI relacionada à disseminação de material sexualmente explícito não consensual.

A negação de Musk ocorre em meio à crescente pressão internacional dos governos do Reino Unido, Europa, Malásia e Indonésia. Isso se segue a relatos de usuários do X solicitando ao Grok a criação de imagens sexualizadas de mulheres reais e, em alguns casos, crianças, sem o consentimento delas. De acordo com estimativas da empresa de detecção de IA Copyleaks, aproximadamente uma imagem desse tipo era postada no X por minuto. Uma amostra de dados separada, de 5 a 6 de janeiro, encontrou uma taxa de 6.700 imagens por hora em um período de 24 horas. (O X e a xAI fazem parte da mesma estrutura corporativa.)

“Este material... tem sido usado para assediar pessoas na internet”, afirmou o procurador-geral da Califórnia, Rob Bonta. “Exorto a xAI a tomar medidas imediatas para garantir que isso não continue.”

O gabinete do procurador-geral investigará possíveis violações legais pela xAI.

Várias leis protegem os indivíduos contra imagens sexuais não consentidas e material de abuso sexual infantil (CSAM). A lei federal Take It Down Act, assinada no ano passado, criminaliza a distribuição consciente de imagens íntimas não consentidas, incluindo deepfakes, e obriga plataformas como a X a remover esse tipo de conteúdo em 48 horas. A Califórnia também promulgou suas próprias leis em 2024, assinadas pelo governador Gavin Newsom, para combater deepfakes sexualmente explícitos.

No final do ano, o Grok começou a atender às solicitações dos usuários no X para produzir fotos sexualizadas de mulheres e crianças. A tendência parece ter se originado com alguns criadores de conteúdo adulto usando o Grok para marketing, gerando imagens sexualizadas de si mesmos, o que então gerou solicitações semelhantes de outros usuários. Em vários casos divulgados envolvendo figuras como a atriz Millie Bobby Brown, o Grok respondeu às solicitações alterando fotos reais de mulheres, modificando roupas, postura ou características físicas de maneiras explicitamente sexuais.

Relatórios indicam que a xAI começou a implementar medidas de segurança. O Grok agora exige uma assinatura premium para certas solicitações de geração de imagens e, mesmo assim, pode não produzir uma imagem. April Kozen, vice-presidente de marketing da Copyleaks, disse ao TechCrunch que o Grok pode atender a uma solicitação de maneira mais genérica ou moderada. Ela acrescentou que o Grok parece ter políticas mais permissivas para criadores de conteúdo adulto.

Inscreva-se na lista de espera do Disrupt 2026

Adicione-se à lista de espera do Disrupt 2026 para ser o primeiro da fila quando os ingressos antecipados forem disponibilizados. Os Disrupts anteriores trouxeram Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil e Vinod Khosla aos palcos — parte dos mais de 250 líderes do setor que conduziram mais de 200 sessões criadas para impulsionar seu crescimento e aprimorar sua vantagem competitiva. Além disso, conheça centenas de startups inovadoras em todos os setores.

Inscreva-se na lista de espera do Disrupt 2026

Adicione-se à lista de espera do Disrupt 2026 para ser o primeiro da fila quando os ingressos antecipados forem disponibilizados. As edições anteriores do Disrupt trouxeram Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil e Vinod Khosla aos palcos — parte dos mais de 250 líderes do setor que conduzem mais de 200 sessões criadas para impulsionar seu crescimento e aprimorar sua vantagem competitiva. Além disso, conheça centenas de startups inovadoras em todos os setores.

“No geral, esses comportamentos sugerem que a X está experimentando vários mecanismos para reduzir ou controlar a geração de imagens problemáticas, embora ainda haja inconsistências”, disse Kozen.

Nem a xAI nem Musk abordaram diretamente o problema central. Dias após o início dos incidentes, Musk pareceu banalizar a questão ao pedir ao Grok para gerar uma imagem dele mesmo de biquíni. Em 3 de janeiro, a conta de segurança da X afirmou que a empresa toma “medidas contra conteúdo ilegal na X, incluindo [CSAM]”, sem mencionar especificamente a aparente falta de salvaguardas do Grok ou a criação de imagens sexualizadas e manipuladas de mulheres.

Essa postura está alinhada com a publicação recente de Musk, que enfatiza a ilegalidade e o comportamento do usuário.

Musk escreveu que “não tinha conhecimento de nenhuma imagem de menores nus gerada pelo Grok. Literalmente nenhuma”. Essa declaração não nega a existência de fotos de biquíni ou edições sexualizadas mais amplamente definidas.

Michael Goodyear, professor associado da Faculdade de Direito de Nova York e ex-advogado, disse ao TechCrunch que Musk provavelmente se concentrou estritamente no CSAM porque as penalidades para a criação ou distribuição de imagens sexualizadas sintéticas de crianças são mais severas.

“Por exemplo, nos Estados Unidos, o distribuidor ou distribuidor ameaçado de CSAM pode pegar até três anos de prisão sob a Lei Take It Down, em comparação com dois anos para imagens sexuais não consensuais de adultos”, disse Goodyear.

Ele acrescentou que o “ponto mais importante” é a tentativa de Musk de mudar o foco para o conteúdo problemático dos usuários.

“Obviamente, o Grok não gera imagens espontaneamente. Ele só o faz de acordo com a solicitação do usuário”, escreveu Musk em sua postagem. “Quando solicitado a gerar imagens, ele se recusa a produzir qualquer coisa ilegal, pois o princípio operacional do Grok é obedecer às leis de qualquer país ou estado. Pode haver momentos em que a invasão adversária do Grok provoque algo inesperado. Se isso acontecer, corrigimos o bug imediatamente.”

Coletivamente, a postagem retrata esses incidentes como raros, atribui-os a solicitações de usuários ou prompts adversários e os enquadra como bugs técnicos a serem corrigidos. Ela não reconhece nenhuma falha fundamental no projeto de segurança do Grok.

“Os reguladores podem considerar, com atenção à proteção da liberdade de expressão, exigir medidas proativas dos desenvolvedores de IA para evitar esse tipo de conteúdo”, disse Goodyear.

A TechCrunch entrou em contato com a xAI para perguntar quantos casos de imagens sexualmente manipuladas de mulheres e crianças sem consentimento foram identificados, quais proteções específicas foram alteradas e se a empresa notificou os reguladores. A TechCrunch atualizará este artigo se receber uma resposta.

O procurador-geral da Califórnia não é o único regulador que busca responsabilizar a xAI. A Indonésia e a Malásia bloquearam temporariamente o acesso ao Grok; a Índia exigiu que a X implementasse mudanças técnicas e procedimentais imediatas no Grok; a Comissão Europeia ordenou que a xAI retivesse todos os documentos relacionados ao seu chatbot Grok, uma medida que antecede uma investigação formal; e a Ofcom do Reino Unido abriu uma investigação formal nos termos da Lei de Segurança Online do Reino Unido.

A xAI já enfrentou críticas anteriores sobre as imagens sexualizadas do Grok. Como observou o procurador-geral Bonta, o Grok inclui um “modo picante” para gerar conteúdo explícito. Uma atualização em outubro tornou mais fácil contornar suas diretrizes de segurança limitadas, levando muitos usuários a criar pornografia hardcore e imagens sexuais graficamente violentas com o Grok.

Muitas das imagens mais pornográficas produzidas pelo Grok foram de pessoas geradas por IA — uma prática que muitos ainda podem considerar eticamente questionável, embora potencialmente menos prejudicial diretamente a indivíduos específicos.

“Quando os sistemas de IA permitem a manipulação de imagens de pessoas reais sem consentimento claro, o impacto pode ser imediato e profundamente pessoal”, disse o cofundador e CEO da Copyleaks, Alon Yamin, em uma declaração ao TechCrunch. “Do Sora ao Grok, estamos vendo um rápido aumento nas capacidades de IA para mídia manipulada. Para esse fim, a detecção e a governança são necessárias agora mais do que nunca para ajudar a prevenir o uso indevido.”