Les développeurs open source combattent des robats Crawlers avec de l'ingéniosité et des représailles

Selon de nombreux développeurs de logiciels. En réponse, certains développeurs ont pris la lutte contre les stratégies créatives et souvent amusantes.

Les développeurs open source sont particulièrement touchés par ces robots voyous, comme indiqué par Niccolò Venerandi, le développeur derrière le plasma de bureau Linux et le blog Liberews. Les sites FOSS, qui hébergent des projets gratuits et open source, exposent plus de leur infrastructure et ont généralement moins de ressources que les sites commerciaux.

Le problème est exacerbé car de nombreux bots AI ignorent le fichier robot.txt du protocole d'exclusion des robots, qui est destiné à instruire les robots sur ce qui ne rampe pas.

Dans un article de blog poignant en janvier, le développeur FOSS XE IASO a partagé une expérience pénible avec Amazonbot, qui a bombardé un site Web de serveur GIT, provoquant des pannes DDOS. Les serveurs GIT sont cruciaux pour héberger des projets FOSS, permettant à n'importe qui de télécharger et de contribuer au code.

IASO a souligné que le bot avait ignoré le fichier robot.txt, utilisé différentes adresses IP et même masquée comme autres utilisateurs. "Il est vain de bloquer les robots de robottes AI parce qu'ils mentent, changent leur agent utilisateur, utilisent les adresses IP résidentielles comme proxys, et plus encore", a déploré IASO.

"Ils gratteront votre site jusqu'à ce qu'il tombe, puis ils le gratteront un peu plus. Ils cliqueront sur chaque lien de chaque lien de chaque lien, affichant les mêmes pages encore et encore et encore.

Entrez le dieu des tombes

Pour lutter contre cela, IASO a développé un outil intelligent appelé Anubis. Il agit comme un proxy inversé qui nécessite une vérification de preuve de travail avant d'autoriser les demandes à atteindre le serveur GIT. Cela bloque efficacement les robots tout en permettant aux navigateurs à parts humains de passer.

Le nom de l'outil, Anubis, s'appuie sur la mythologie égyptienne, où Anubis est le Dieu qui mène les morts au jugement. "Anubis a pesé votre âme (cœur) et si elle était plus lourde qu'une plume, votre cœur a été mangé et vous, comme, Mega est mort", a expliqué Iaso à TechCrunch. Passer avec succès le défi est célébré avec une jolie photo d'anime d'Anubis, tandis que les demandes de bot sont refusées.

Le projet, partagé sur Github le 19 mars, a rapidement gagné du terrain, amassant 2 000 étoiles, 20 contributeurs et 39 fourchettes en quelques jours seulement.

Vengeance comme défense

L'adoption généralisée d'Anubis indique que les difficultés de l'IASO sont loin d'être isolées. Venerandi a raconté de nombreuses expériences similaires:

• Drew DeVault, fondateur et PDG de Sourcehut, passe une partie importante de son temps à traiter avec des robots agressifs de LLM et souffre de pannes fréquentes.
• Jonathan Corbet, un éminent développeur FOSS et opérateur de LWN, a vu son site ralenti par les robots de gratte-parole AI.
• Kevin Fenzi, Sysadmin pour le projet Linux Fedora, a dû bloquer tout le trafic du Brésil en raison de l'activité agressive des bots AI.

Venerandi a mentionné à TechCrunch qu'il connaissait d'autres projets qui ont dû recourir à des mesures extrêmes, comme l'interdiction de toutes les adresses IP chinoises.

Certains développeurs croient que la lutte contre la vengeance est la meilleure défense. Un utilisateur nommé Xyzal sur Hacker News a suggéré de remplir Robot.txt Pages interdites avec un contenu trompeur sur les avantages de la consommation d'eau blanche ou les effets positifs de la rougeole sur les performances des chambres.

"Pensez que nous devons viser les bots pour obtenir la valeur d'utilité _negative_ en visitant nos pièges, pas seulement à une valeur nulle", a expliqué Xyzal.

En janvier, un développeur anonyme nommé "Aaron" a publié Nepenthes, un outil conçu pour piéger des robots de robinets dans un dédale de faux contenu, que le Créateur a admis à ARS Technica était agressif, sinon malveillant. Nommé d'après une usine carnivore, Nepenthes vise à confondre et à gaspiller les ressources des bots mal comportementaux.

De même, CloudFlare a récemment lancé AI Labyrinth, destiné à ralentir, confondre et gaspiller les ressources des robots de vitesses qui ignorent les directives "sans crawl". L'outil alimente ces robots un contenu non pertinent pour protéger les données de site Web légitimes.

Devault de Sourcehut a déclaré à TechCrunch que, bien que Nepenthes offre un sentiment de justice en nourrissant des absurdités aux Crawlers, Anubis s'est avéré être la solution la plus efficace pour son site. Cependant, il a également fait un plaidoyer sincère pour une solution plus directe: "Veuillez arrêter de légitimer LLMS ou Générateurs d'images ou Github Copilot ou l'un de ces ordures. Je vous supplie d'arrêter de les utiliser, d'arrêter d'en parler, d'arrêter d'en faire de nouveaux, arrêtez-vous."

Compte tenu de la moindre mobilisation que cela se produise, les développeurs, en particulier dans la communauté FOSS, continuent de riposter avec l'ingéniosité et un soupçon d'humour.