L'IA Crawlers Surge Wikimedia Commons Bandpwidth Demande de 50%

La Wikimedia Foundation, le corps parent derrière Wikipedia et de nombreuses autres plateformes de connaissances proches de la foule, a annoncé mercredi une augmentation stupéfiante de 50% de l'utilisation de la bande passante pour les téléchargements multimédias de Wikimedia Commons depuis le 2024 janvier. Cette surtension, comme détaillé dans un article de blog mardi, n'est pas conduit à l'entraînement pour l'entraînement dans les modèles humains, mais plutôt par des gratterements automatisés pour des données pour s'entraîner.

«Notre infrastructure est conçue pour gérer des surtensions soudaines dans le trafic des humains lors d'événements majeurs, mais le volume de trafic à partir de robots de gratte-parole est inégalé et pose des risques et des coûts croissants», explique le Post.

Wikimedia Commons sert de plaque tournante librement accessible pour les images, les vidéos et les fichiers audio, tous disponibles sous licences ouvertes ou dans le domaine public.

En approfondissant, Wikimedia a révélé que 65% du trafic le plus à forte intensité de ressources - mesuré par le type de contenu consommé - provient de bots. Pourtant, ces robots ne représentent que 35% des pages vues globales. L'écart, selon Wikimedia, découle de la fréquence de la mise en cache des utilisateurs, tandis que le contenu moins populaire, que les robots ciblent, est stocké dans le «centre de données de base» plus coûteux.

"Alors que les lecteurs humains ont tendance à se concentrer sur des sujets spécifiques, souvent similaires,, les robots de chenilles ont tendance à" lire en vrac "un plus grand nombre de pages et à visiter les moins populaires", a noté Wikimedia. «Cela se traduit par la transmission de ces demandes vers le centre de données de base, ce qui augmente considérablement nos coûts de consommation de ressources.»

En conséquence, l'équipe de fiabilité du site de la Fondation Wikimedia consacre un temps et des ressources substantiels à bloquer ces robots afin de prévenir les perturbations des utilisateurs quotidiens. Cela ne touche même pas à l'escalade des coûts du cloud que la fondation est en compétition.

Ce scénario fait partie d'une tendance plus large qui met en danger l'Internet ouvert. Le mois dernier, l'ingénieur logiciel et l'avocat open-source Drew Devault déplorent que les Crawlers de l'IA ignorent de manière flagrante les fichiers «robots.txt» destinés à dissuader le trafic automatisé. De même, Gergely Orosz, connu sous le nom de «ingénieur pragmatique», a récemment exprimé sa frustration quant à la façon dont les grattoirs en IA de sociétés comme Meta ont enrichi les demandes de bande passante pour ses projets.

Bien que les infrastructures open source soient particulièrement vulnérables, les développeurs réagissent avec l'ingéniosité et la détermination. TechCrunch a souligné la semaine dernière que certaines entreprises technologiques intensifiaient. Par exemple, CloudFlare a introduit AI Labyrinth, conçu pour ralentir les robots de robots avec du contenu généré par l'IA.

Pourtant, il reste un jeu constant de chat et de souris, qui pourrait pousser de nombreux éditeurs à se retirer derrière les connexions et les murs de paiement, nuisant finalement à la nature ouverte du Web sur lequel nous nous appuyons tous.