Desenvolvedores de código aberto combatem os rastreadores com ingenuidade e retribuição

Os bots de rastreamento da Web de IA se tornaram a desgraça da Internet, de acordo com muitos desenvolvedores de software. Em resposta, alguns desenvolvedores aceitaram revidar com estratégias criativas e muitas vezes divertidas.

Os desenvolvedores de código aberto são atingidos especialmente por esses robôs desonestos, como observado por Niccolò Venerandi, o desenvolvedor por trás do Plasma de Desktop Linux e do blog Librenews. Os sites da Foss, que hospedam projetos gratuitos e de código aberto, expõem mais de sua infraestrutura e geralmente têm menos recursos do que os sites comerciais.

O problema é exacerbado porque muitos bots de IA ignoram o arquivo robot.txt do protocolo de exclusão de robôs, que deve instruir os bots sobre o que não rastejar.

Em uma postagem de blog comovente em janeiro, o desenvolvedor da Foss, XE Isoso, compartilhou uma experiência angustiante com a AmazonBot, que bombardeou um site do Git Server, causando interrupções em DDOS. Os servidores Git são cruciais para hospedar projetos FOSS, permitindo que qualquer pessoa baixe e contribua para o código.

A Iias apontou que o bot desconsiderou o arquivo robot.txt, usou diferentes endereços IP e até mascarada como outros usuários. "É inútil bloquear os rastreadores da AI porque eles mentem, mudarem seu agente de usuários, usar os endereços IP residenciais como proxies e muito mais", lamentou o IASO.

"Eles rasparão seu site até que ele caia e depois raspará um pouco mais. Eles clicarão em todos os links em todos os links em todos os links, visualizando as mesmas páginas repetidamente.

Entre no deus das sepulturas

Para combater isso, o Iias desenvolveu uma ferramenta inteligente chamada Anubis. Ele atua como um proxy reverso que requer uma verificação de prova de trabalho antes de permitir que as solicitações atinjam o servidor Git. Isso bloqueia efetivamente os bots enquanto permite que os navegadores operados pelo homem passem.

O nome da ferramenta, Anubis, extrai da mitologia egípcia, onde Anubis é o Deus que leva os mortos a julgamento. "Anubis pesava sua alma (coração) e se fosse mais pesado que uma pena, seu coração foi comido e você, tipo, Mega morreu", explicou Iias ao TechCrunch. A aprovação com sucesso do desafio é comemorada com uma foto fofa de anime de Anubis, enquanto os pedidos de bot são negados.

O projeto, compartilhado no Github em 19 de março, ganhou tração rapidamente, acumulando 2.000 estrelas, 20 colaboradores e 39 garfos em apenas alguns dias.

Vingança como defesa

A adoção generalizada de Anubis indica que as lutas do IASO estão longe de serem isoladas. Venerandi contou inúmeras experiências semelhantes:

• Drew Devault, fundador e CEO da Sourcehut, passa uma parte significativa de seu tempo lidando com rastreadores agressivos e sofre interrupções frequentes.
• Jonathan Corbet, um proeminente desenvolvedor e operador da LWN, viu seu site desacelerar por bots de raspador de IA.
• Kevin Fenzi, Sysadmin para o projeto Linux Fedora, teve que bloquear todo o tráfego do Brasil devido à atividade agressiva do BOT da IA.

Venerandi mencionou ao TechCrunch que ele conhece outros projetos que tiveram que recorrer a medidas extremas, como proibir todos os endereços IP chineses.

Alguns desenvolvedores acreditam que lutar de volta com vingança é a melhor defesa. Um usuário chamado Xyzal no Hacker News sugeriu preencher o robot.txt Páginas proibidas com conteúdo enganoso sobre os benefícios de beber alvejante ou os efeitos positivos do sarampo no desempenho do quarto.

"Acho que precisamos buscar os bots para obter _negativo_ valor do utilitário de visitar nossas armadilhas, não apenas valor zero", explicou Xyzal.

Em janeiro, um desenvolvedor anônimo chamado "Aaron" lançou Nepenthes, uma ferramenta projetada para prender os rastreadores em um labirinto de conteúdo falso, que o criador admitiu ao Ars Technica era agressivo, se não totalmente malicioso. Nomeado após uma planta carnívora, Nepenthes pretende confundir e desperdiçar os recursos de robôs mal com comportamento.

Da mesma forma, a CloudFlare lançou recentemente a AI Labyrinth, destinada a desacelerar, confundir e desperdiçar os recursos dos rastreadores de IA que ignoram as diretivas "sem rastreamento". A ferramenta alimenta esses bots irrelevantes para proteger os dados legítimos do site.

Devault, da Sourcehut, disse ao TechCrunch que, embora Nepenthes ofereça um senso de justiça alimentando bobagens aos rastreadores, Anubis provou ser a solução mais eficaz para seu site. No entanto, ele também fez um apelo sincero para uma solução mais direta: "Pare de legitimar os LLMs ou geradores de imagens de IA ou copiloto do Github ou qualquer um desses lixo. Estou implorando para que você pare de usá -los, pare de falar sobre eles, pare de fazer novos, apenas pare".

Dada a improvável que isso aconteça, os desenvolvedores, particularmente na comunidade de Foss, continuam lutando com ingenuidade e uma pitada de humor.