A política da Cloudflare obriga as empresas de IA a pagar aos editores pelo conteúdo.

A Cloudflare estabeleceu um novo prazo para a indústria de IA, exigindo que os rastreadores da web utilizados por mecanismos de busca tradicionais — como o Google Search — sejam separados daqueles projetados para agentes de IA e para treinamento. A empresa anunciou na quarta-feira que, a partir de 15 de setembro de 2026, as configurações padrão da Cloudflare bloquearão os rastreadores de “uso misto” em todas as páginas que exibem anúncios.

Isso significa que, por padrão, os rastreadores que combinam funções de busca, de agente e de treinamento terão seu acesso a esses sites bloqueado, a menos que os proprietários dos sites ajustem manualmente as configurações. De acordo com a empresa, essa mudança será aplicada a novos clientes da Cloudflare, a novos sites criados por clientes existentes e a todos os usuários atuais da versão gratuita.

Essa medida pode afetar a forma como os fornecedores de modelos de IA acessam conteúdo da web para treinamento e para alimentar seus serviços baseados em agentes.

A Cloudflare ressalta que a maioria dos proprietários de sites deseja que seu conteúdo seja encontrado por meio de buscas e, muitas vezes, também por meio de serviços de IA, mas ao mesmo tempo quer proteção contra a divulgação gratuita de sua propriedade intelectual.

A Cloudflare menciona especificamente o “maior mecanismo de busca do mundo” (referindo-se claramente ao Google) por ter acesso a aproximadamente “duas vezes mais informações” do que outras empresas de IA, já que esse gigante da busca dificulta que os clientes permaneçam visíveis sem serem utilizados também para fins de IA.

O Google já se opôs a essa generalização, destacando que oferece um bot chamado Google Extended, que permite aos proprietários de sites optar por não ter seu conteúdo usado para treinamento e para produtos de IA como o Gemini Apps e a Vertex API. O uso dessa opção de exclusão não afeta a inclusão de um site no Google Search. No entanto, o Googlebot, principal ferramenta do Google, continua rastreando páginas para fins de busca, incluindo recursos de IA como AI Overviews e AI Mode.

“Agora que a maior parte do tráfego na Internet é não humano, precisamos ir além e agir mais rapidamente para que um ecossistema sustentável possa surgir”, afirmou Matthew Prince, cofundador e CEO da Cloudflare, em seu anúncio, referindo-se ao marco recente em que os bots ultrapassaram o tráfego humano online pela primeira vez — uma mudança que não era esperada antes do próximo ano.

“As novas ferramentas e parcerias da Cloudflare oferecem aos proprietários de sites maior visibilidade e oportunidades comerciais, além de beneficiar as empresas de IA que possuem bots com intenções claras e transparentes. Esperamos que as mudanças padrão propostas incentivem os rastreadores de uso misto a separar a busca do uso como agente e do treinamento”, disse Prince.

Embora a Cloudflare ofereça vários produtos para ajudar os usuários a criar seus próprios sistemas de IA, a empresa também lançou uma série de ferramentas para dar aos editores mais controle sobre seu conteúdo na era da IA. Nos últimos anos, a Cloudflare desenvolveu ferramentas para combater bots de IA, incluindo um mercado que permite que sites cobrem esses bots pela coleta de dados, chamado Pay Per Crawl.

Esse modelo está evoluindo agora para “Pay Per Use”, segundo a empresa, o que permitirá que os editores cobrem as empresas de IA quando seu conteúdo gera valor, e não apenas quando é recuperado.

Essa mudança também pode ajudar a economizar a largura de banda e os recursos de processamento dos editores para os fornecedores de modelos de IA, já que dados da Cloudflare indicam que mais de 50% do tráfego de rastreamento proveniente de bots de IA é gasto na recuperação de páginas que não sofreram alterações.

Para colocar isso em prática, a Cloudflare está trabalhando inicialmente com duas parceiras: Ceramic.ai e You.com. Quando um editor se inscreve, ele recebe pagamento quando seu conteúdo aparece nos resultados de busca por IA da Ceramic ou quando o You.com acessa parte de seu conteúdo premium.

Outras empresas de IA podem personalizar esse modelo conforme suas necessidades, segundo a Cloudflare.