Índia ordena que a IA Grok da X cumpra a lei após disputa por conteúdo “obsceno”

A Índia instruiu a empresa X, de Elon Musk, a implementar mudanças técnicas e procedimentais imediatas em seu chatbot de IA Grok. Isso se segue a relatos de usuários e legisladores sobre a geração de conteúdo “obsceno”, incluindo imagens de mulheres alteradas por IA criadas com a ferramenta.

Na sexta-feira, o Ministério de TI da Índia emitiu a diretiva, ordenando que a X tomasse medidas corretivas em relação ao Grok. Isso inclui restringir a geração de conteúdo envolvendo “nudez, sexualização, material sexualmente explícito ou ilegal”. O ministério também deu à plataforma 72 horas para apresentar um relatório detalhando as medidas tomadas para impedir a hospedagem ou a disseminação de conteúdo considerado “obsceno, pornográfico, vulgar, indecente, sexualmente explícito, pedófilo ou ilegal”.

A ordem, analisada pela TechCrunch, alertou que o não cumprimento poderia levar à perda das proteções de “porto seguro” da X. Essa proteção legal normalmente concede imunidade de responsabilidade por conteúdo gerado pelo usuário sob a lei indiana.

A ação da Índia ocorre depois que usuários compartilharam exemplos do Grok sendo solicitado a alterar imagens de pessoas — principalmente mulheres — para fazê-las parecer que estavam usando biquínis. Isso levou a uma reclamação formal da parlamentar indiana Priyanka Chaturvedi. Separadamente, relatórios recentes destacaram casos em que o chatbot de IA gerou imagens sexualizadas envolvendo menores. O X reconheceu na sexta-feira que essas falhas foram causadas por proteções defeituosas, e as imagens foram posteriormente removidas.

No entanto, o TechCrunch descobriu que imagens alteradas por IA fazendo mulheres parecerem estar usando biquínis, geradas pelo Grok, continuavam acessíveis no X no momento da publicação.

Esta última diretiva segue um aviso mais amplo emitido pelo Ministério de TI da Índia na segunda-feira às plataformas de mídia social. O aviso, também revisado pelo TechCrunch, lembrou às empresas que o cumprimento das leis contra conteúdo obsceno e sexualmente explícito é um pré-requisito para manter a imunidade legal para as postagens dos usuários. Ele instou as plataformas a fortalecerem as salvaguardas internas, alertando que o não cumprimento poderia levar a ações legais sob as leis de TI e criminais da Índia.

“Reitera-se que o não cumprimento dos requisitos acima será considerado com seriedade e poderá resultar em consequências legais severas contra sua plataforma, seus responsáveis e os usuários da plataforma que violarem a lei, sem qualquer aviso prévio”, afirmou a ordem.

Inscreva-se na lista de espera do Disrupt 2026

Garanta sua vaga na lista de espera do Disrupt 2026 para ter acesso antecipado quando os ingressos antecipados forem lançados. Os eventos Disrupt anteriores contaram com a participação de líderes do setor da Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil e Vinod Khosla, entre mais de 250 especialistas que conduziram mais de 200 sessões com foco no crescimento. Você também terá a oportunidade de se conectar com centenas de startups inovadoras de todos os setores.

Inscreva-se na lista de espera do Disrupt 2026

Garanta sua vaga na lista de espera do Disrupt 2026 para ter acesso antecipado quando os ingressos antecipados forem disponibilizados. Os eventos Disrupt anteriores contaram com a participação de líderes do setor da Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil e Vinod Khosla, entre mais de 250 especialistas que conduziram mais de 200 sessões focadas em crescimento. Você também terá a oportunidade de se conectar com centenas de startups inovadoras de todos os setores.

O governo indiano afirmou que o não cumprimento pode resultar em ação judicial contra a X nos termos da Lei de TI e das leis penais do país.

Como um dos maiores mercados digitais do mundo, a Índia se tornou um caso-teste importante para a forma como os governos regulam o conteúdo gerado por IA. Uma aplicação mais rigorosa da lei no país poderia criar um precedente com implicações globais para as empresas de tecnologia que operam em várias jurisdições.

Essa ordem surge no momento em que a X continua a contestar legalmente certos aspectos das regras de moderação de conteúdo da Índia, argumentando que os poderes de remoção do governo correm o risco de extrapolar. A plataforma cumpriu a maioria das ordens de bloqueio, enquanto contestou outras. Enquanto isso, o Grok é cada vez mais usado pelos usuários da X para verificação de fatos em tempo real e comentários sobre notícias, tornando seus resultados mais visíveis — e politicamente sensíveis — do que as ferramentas de IA independentes.

A X e a xAI não responderam imediatamente aos pedidos de comentários sobre a ordem do governo indiano.