AI Crawlers Surge Wikimedia Commons пропускная способность на 50%

Фонд Викимедии, родительский орган, стоящий за Википедией и многочисленные другие платформы знаний, объявленных в среду, ошеломляющее увеличение использования полосы пропускания для мультимедийных загрузок с Wikimedia Commons с января 2024 года. Этот всплеск, как подробно описано в блоге во вторник, не стремится к тому, что он вырос в во вторник, не подлежащий обучению, но скорее побывает в области моделей.

«Наша инфраструктура предназначена для того, чтобы справиться с внезапными скачками трафика от людей во время основных событий, но объем трафика от Scraper Bots не имеет себе равных и представляет растущие риски и затраты», - объясняется пост.

Wikimedia Commons служит свободно доступным центром для изображений, видео и аудиофайлов, которые доступны по открытым лицензиям или в общественном доступе.

Делуя глубже, Викимедия показала, что колоссальные 65% наиболее ресурсоемкого трафика, измеряемого типом потребляемого контента, вылетают от ботов. Тем не менее, эти боты составляют всего 35% от общего просмотра страниц. Расхождение, согласно Wikimedia, связано с тем, как часто доступ к контенту кэшируется ближе к пользователям, в то время как менее популярный контент, который часто нацелены на боты, хранится в более дорогостоящем «основном центре обработки данных».

«В то время как человеческие читатели, как правило, сосредотачиваются на конкретных, часто похожих темах, гусеницы, как правило,« читать »более крупное количество страниц и посещать менее популярные», - отметил Викимедия. «Это приводит к тому, что эти запросы будут направлены в основной центр обработки данных, что значительно увеличивает затраты на потребление наших ресурсов».

В результате команда по надежности сайта Wikimedia Foundation посвящает существенное время и ресурсы блокировке этих сканеров для предотвращения сбоев для повседневных пользователей. Это даже не затрагивает эскалационные затраты на облако, с которыми сталкивается фундамент.

Этот сценарий является частью более широкой тенденции, которая ставит под угрозу открытый интернет. Только в прошлом месяце инженер-программист и адвокат с открытым исходным кодом Drew Devault посетили, что Clawlers AI явно игнорируют файлы «robots.txt», предназначенные для сдерживания автоматического трафика. Точно так же Гергели Орош, известный как «прагматический инженер», недавно выразил свое разочарование по поводу того, как скрещивания ИИ от таких компаний, как Meta, привели к его проектам.

Хотя инфраструктура с открытым исходным кодом особенно уязвима, разработчики реагируют с изобретательностью и определением. На прошлой неделе TechCrunch подчеркнул, что некоторые технологические компании активизируются. Например, Cloudflare представил AI Labyrinth, предназначенный для замедления Crawlers с помощью AI-сгенерированного контента.

Тем не менее, он остается постоянной игрой кошек и мыши, которая может подтолкнуть многих издателей отступить за логинами и платных стенами, что в конечном итоге наносит ущерб открытой природе Интернета, на которую мы все полагаемся.