Разработчики с открытым исходным кодом сражаются с ИИ с изобретательностью и возмездием

Боты для веб-сканирования, работающие на основе ИИ, стали настоящим бичом интернета, по мнению многих разработчиков программного обеспечения. В ответ некоторые разработчики начали бороться с ними, применяя креативные и зачастую забавные стратегии.

Разработчики открытого программного обеспечения особенно сильно страдают от этих неподконтрольных ботов, как отметил Никколо Венеранди, разработчик рабочего стола Linux Plasma и блога LibreNews. Сайты FOSS, на которых размещаются бесплатные проекты с открытым исходным кодом, раскрывают больше своей инфраструктуры и, как правило, имеют меньше ресурсов, чем коммерческие сайты.

Проблема усугубляется тем, что многие ИИ-боты игнорируют файл robot.txt протокола исключения для роботов, который должен указывать ботам, что не следует сканировать.

В трогательном посте в блоге в январе разработчик FOSS Ксе Иасо поделился неприятным опытом с AmazonBot, который атаковал веб-сайт Git-сервера, вызывая сбои из-за DDoS-атак. Git-серверы имеют решающее значение для размещения проектов FOSS, позволяя любому загружать и вносить вклад в код.

Иасо указал, что бот игнорировал файл robot.txt, использовал разные IP-адреса и даже маскировался под других пользователей. «Блокировать ИИ-ботов бесполезно, потому что они лгут, меняют свои пользовательские агенты, используют резидентные IP-адреса в качестве прокси и делают многое другое», — посетовал Иасо.

«Они будут сканировать ваш сайт, пока он не упадёт, а затем продолжат сканировать ещё больше. Они будут переходить по каждой ссылке на каждой ссылке на каждой ссылке, просматривая одни и те же страницы снова и снова. Некоторые из них даже будут кликать по одной и той же ссылке несколько раз в одну секунду», — написал разработчик.

Появление Бога могил

Для борьбы с этим Иасо разработал умный инструмент под названием Anubis. Он действует как обратный прокси, требующий проверки proof-of-work перед тем, как разрешить запросам достичь Git-сервера. Это эффективно блокирует ботов, позволяя браузерам, управляемым людьми, проходить проверку.

Название инструмента, Anubis, заимствовано из египетской мифологии, где Анубис — бог, который ведёт мёртвых к суду. «Анубис взвешивал вашу душу (сердце), и если она была тяжелее пера, ваше сердце пожиралось, и вы, как бы, мега-умирали», — объяснил Иасо в интервью TechCrunch. Успешное прохождение проверки отмечается милой аниме-картинкой Анубиса, в то время как запросы ботов отклоняются.

Проект, размещённый на GitHub 19 марта, быстро набрал популярность, собрав 2000 звёзд, 20 участников и 39 форков всего за несколько дней.

Месть как защита

Широкое распространение Anubis указывает на то, что проблемы Иасо далеко не единичны. Венеранди рассказал о множестве подобных случаев:

• Дрю ДеВолт, основатель и генеральный директор SourceHut, тратит значительную часть своего времени на борьбу с агрессивными краулерами LLM и сталкивается с частыми сбоями.
• Джонатан Корбет, известный разработчик FOSS и оператор LWN, заметил замедление работы своего сайта из-за ботов-скрейперов ИИ.
• Кевин Фензи, системный администратор проекта Linux Fedora, был вынужден заблокировать весь трафик из Бразилии из-за агрессивной активности ИИ-ботов.

Венеранди упомянул в беседе с TechCrunch, что ему известно о других проектах, которым пришлось прибегнуть к крайним мерам, таким как блокировка всех китайских IP-адресов.

Некоторые разработчики считают, что месть — лучшая защита. Пользователь под ником xyzal на Hacker News предложил заполнять запрещённые файлом robot.txt страницы вводящим в заблуждение контентом о пользе употребления отбеливателя или положительном влиянии кори на интимную жизнь.

«Нам нужно стремиться к тому, чтобы боты получали _отрицательную_ полезность от посещения наших ловушек, а не просто нулевую», — объяснил xyzal.

В январе анонимный разработчик по имени «Аарон» выпустил Nepenthes, инструмент, предназначенный для заманивания краулеров в лабиринт фальшивого контента, что, как признался создатель в интервью Ars Technica, было агрессивным, если не откровенно злонамеренным. Названный в честь хищного растения, Nepenthes стремится запутать и истощить ресурсы непослушных ботов.

Аналогично, Cloudflare недавно запустила AI Labyrinth, предназначенный для замедления, запутывания и траты ресурсов ИИ-краулеров, игнорирующих директивы «не сканировать». Инструмент подает этим ботам нерелевантный контент, чтобы защитить законные данные веб-сайта.

ДеВолт из SourceHut рассказал TechCrunch, что, хотя Nepenthes даёт чувство справедливости, подавая бессмыслицу краулерам, Anubis оказался более эффективным решением для его сайта. Однако он также сделал искреннюю просьбу о более прямом решении: «Пожалуйста, перестаньте легитимизировать LLM, генераторы изображений ИИ, GitHub Copilot или любую другую ерунду. Я умоляю вас перестать использовать их, говорить о них, создавать новые, просто остановитесь».

Учитывая маловероятность этого, разработчики, особенно в сообществе FOSS, продолжают бороться с изобретательностью и долей юмора.