Desenvolvedores de código aberto combatem os rastreadores com ingenuidade e retribuição

Bots de rastreamento web de IA tornaram-se a praga da internet, segundo muitos desenvolvedores de software. Em resposta, alguns desenvolvedores começaram a contra-atacar com estratégias criativas e, muitas vezes, divertidas.

Desenvolvedores de código aberto são particularmente afetados por esses bots descontrolados, como observado por Niccolò Venerandi, o desenvolvedor por trás do desktop Linux Plasma e do blog LibreNews. Sites FOSS, que hospedam projetos gratuitos e de código aberto, expõem mais de sua infraestrutura e geralmente têm menos recursos do que sites comerciais.

O problema é agravado porque muitos bots de IA ignoram o arquivo robot.txt do Protocolo de Exclusão de Robôs, que deveria instruir os bots sobre o que não rastrear.

Em um post de blog comovente em janeiro, a desenvolvedora FOSS Xe Iaso compartilhou uma experiência angustiante com o AmazonBot, que bombardeou um site de servidor Git, causando interrupções por DDoS. Servidores Git são cruciais para hospedar projetos FOSS, permitindo que qualquer pessoa baixe e contribua com o código.

Iaso destacou que o bot desrespeitou o arquivo robot.txt, usou diferentes endereços IP e até se disfarçou como outros usuários. "É inútil bloquear bots rastreadores de IA porque eles mentem, mudam seu agente de usuário, usam endereços IP residenciais como proxies, e mais," lamentou Iaso.

"Eles vão raspar seu site até que ele caia, e então continuarão raspando. Eles clicarão em cada link de cada link de cada link, visualizando as mesmas páginas repetidamente. Alguns deles até clicarão no mesmo link várias vezes no mesmo segundo," escreveu a desenvolvedora.

Entra o Deus das Tumbas

Para combater isso, Iaso desenvolveu uma ferramenta inteligente chamada Anubis. Ela atua como um proxy reverso que exige uma verificação de prova de trabalho antes de permitir que as requisições cheguem ao servidor Git. Isso bloqueia efetivamente os bots, enquanto permite que navegadores operados por humanos passem.

O nome da ferramenta, Anubis, vem da mitologia egípcia, onde Anubis é o deus que conduz os mortos ao julgamento. "Anubis pesava sua alma (coração) e, se fosse mais pesada que uma pena, seu coração era devorado e você, tipo, morria completamente," explicou Iaso ao TechCrunch. Passar no desafio é celebrado com uma imagem fofa de anime de Anubis, enquanto as requisições de bots são negadas.

O projeto, compartilhado no GitHub em 19 de março, ganhou tração rapidamente, acumulando 2.000 estrelas, 20 colaboradores e 39 forks em poucos dias.

Vingança como Defesa

A adoção generalizada do Anubis indica que as dificuldades de Iaso estão longe de serem isoladas. Venerandi relatou várias experiências semelhantes:

• Drew DeVault, fundador e CEO da SourceHut, gasta uma parte significativa de seu tempo lidando com rastreadores LLM agressivos e sofre interrupções frequentes.
• Jonathan Corbet, um proeminente desenvolvedor FOSS e operador do LWN, viu seu site desacelerado por bots raspadores de IA.
• Kevin Fenzi, administrador de sistemas do projeto Linux Fedora, teve que bloquear todo o tráfego do Brasil devido à atividade agressiva de bots de IA.

Venerandi mencionou ao TechCrunch que conhece outros projetos que tiveram que recorrer a medidas extremas, como banir todos os endereços IP chineses.

Alguns desenvolvedores acreditam que contra-atacar com vingança é a melhor defesa. Um usuário chamado xyzal no Hacker News sugeriu preencher páginas proibidas pelo robot.txt com conteúdo enganoso sobre os benefícios de beber alvejante ou os efeitos positivos do sarampo no desempenho no quarto.

"Acho que precisamos fazer com que os bots obtenham um valor de utilidade _negativo_ ao visitar nossas armadilhas, não apenas valor zero," explicou xyzal.

Em janeiro, um desenvolvedor anônimo chamado "Aaron" lançou o Nepenthes, uma ferramenta projetada para prender rastreadores em um labirinto de conteúdo falso, que o criador admitiu ao Ars Technica ser agressiva, se não abertamente maliciosa. Nomeada após uma planta carnívora, o Nepenthes visa confundir e desperdiçar os recursos de bots malcomportados.

Da mesma forma, a Cloudflare lançou recentemente o AI Labyrinth, destinado a desacelerar, confundir e desperdiçar os recursos de rastreadores de IA que ignoram diretivas de "não rastrear". A ferramenta alimenta esses bots com conteúdo irrelevante para proteger os dados legítimos do site.

DeVault, da SourceHut, disse ao TechCrunch que, embora o Nepenthes ofereça uma sensação de justiça ao alimentar nonsense aos rastreadores, o Anubis provou ser a solução mais eficaz para seu site. No entanto, ele também fez um apelo sincero por uma solução mais direta: "Por favor, parem de legitimar LLMs ou geradores de imagens de IA ou GitHub Copilot ou qualquer coisa desse tipo. Estou implorando para que parem de usá-los, parem de falar sobre eles, parem de criar novos, apenas parem."

Dada a improbabilidade de isso acontecer, os desenvolvedores, particularmente na comunidade FOSS, continuam a lutar com engenhosidade e um toque de humor.