AI Bots grattant vos données? Cet outil gratuit donne à ces crawlers embêtants le ruissellement

L'essor du contenu généré par l'IA, souvent appelé média synthétique, a engendré plusieurs défis, notamment la propagation de la désinformation, l'utilisation non autorisée des œuvres d'artistes et une diminution de la confiance dans le contenu en ligne. Cependant, Cloudflare a potentiellement trouvé une application bénéfique pour l'IA, visant à protéger le contenu original contre son exploitation par les entreprises d'IA.

Mercredi, Cloudflare a présenté AI Labyrinth, un outil conçu pour utiliser du contenu généré par l'IA afin de "ralentir, confondre et gaspiller les ressources" des robots d'indexation IA non autorisés.

Des études récentes ont montré que les chatbots IA, tels que ChatGPT et Perplexity, continuent d'accéder au contenu de sites web qui ont bloqué leurs robots d'indexation. Cloudflare a souligné dans son annonce que ces robots génèrent plus de 50 milliards de requêtes sur leur réseau quotidiennement, représentant un peu moins de 1 % de toutes les requêtes web qu'ils observent. La méthode de blocage de ces robots est cruciale.

Cloudflare a expliqué que bien qu'ils disposent de plusieurs outils pour identifier et bloquer les indexations IA non autorisées, bloquer simplement ces robots peut alerter les attaquants, entraînant un cycle continu de tactiques d'évasion. Ils voulaient concevoir une nouvelle méthode pour dissuader ces robots indésirables sans signaler qu'ils ont été détectés.

Lorsque Cloudflare détecte une requête d'indexation non autorisée, AI Labyrinth ne se contente pas de bloquer le robot ; il renvoie plutôt vers plusieurs pages web générées par l'IA qui semblent suffisamment authentiques pour tromper le robot en lui faisant croire qu'elles sont légitimes. Ainsi, le robot pense à tort qu'il a réussi à collecter le contenu souhaité, tandis que les données réelles du site restent protégées. De plus, cette approche consomme les ressources informatiques du robot, ce que Cloudflare considère comme un avantage.

L'annonce de Cloudflare a détaillé que l'outil déploie automatiquement un ensemble de pages liées générées par l'IA dès la détection d'une activité de robot inappropriée, éliminant le besoin pour les clients de configurer des règles personnalisées.

Pour créer ces pages, Cloudflare a utilisé Workers AI et un modèle open-source pour produire à l'avance des pages synthétiques uniques, semblables à celles créées par des humains, sur divers sujets. Ce pipeline de pré-génération non seulement nettoie le contenu pour prévenir les vulnérabilités XSS, mais le stocke également dans R2 pour un accès plus rapide.

AI Labyrinth affiche ces liens uniquement aux robots d'indexation IA, garantissant que le contenu reste caché aux visiteurs humains et n'affecte pas la structure, l'apparence ou le SEO du site.

Cloudflare a souligné son engagement à ne pas contribuer à la propagation de la désinformation, en veillant à ce que le contenu généré soit factuel et lié à des sujets scientifiques, tout en étant sans rapport avec le site indexé.

De plus, Cloudflare voit AI Labyrinth comme un potentiel pot de miel pour identifier de nouveaux robots illicites. Ils ont noté que les véritables visiteurs humains sont peu susceptibles de naviguer à travers "un labyrinthe de contenu absurde généré par l'IA", permettant à l'outil de détecter de nouveaux robots en fonction des schémas de clics. Cette observation aidera AI Labyrinth à identifier plus efficacement les acteurs malveillants.

Alors que les robots deviennent habiles à détecter les techniques traditionnelles de pots de miel, Cloudflare prévoit que AI Labyrinth évoluera, créant des réseaux d'URLs liées plus réalistes, plus difficiles à identifier pour les programmes automatisés.

Pour les éditeurs ou les individus préoccupés par l'utilisation de leur contenu pour entraîner l'IA ou par sa mauvaise représentation par les chatbots, AI Labyrinth pourrait être un outil précieux.

Tous les clients de Cloudflare, y compris ceux du niveau gratuit, peuvent activer AI Labyrinth dès aujourd'hui en accédant à leur tableau de bord Cloudflare, en naviguant vers la section de gestion des robots et en activant l'option AI Labyrinth.

[ttpp]