Разработчики с открытым исходным кодом сражаются с ИИ с изобретательностью и возмездием

По словам многих разработчиков программного обеспечения, боты для веб-полки AI стали проклятием Интернета. В ответ некоторые разработчики взяли на себя борьбу с творческими и часто забавными стратегиями.

Разработчики с открытым исходным кодом особенно сильно поражаются этими мошенническими ботами, как отмечает Никколо Венеранди, разработчик плазмы Linux настольной плазмы и блога Librenews. Сайты FOSS, которые проводят бесплатные и открытые проекты, раскрывают больше своей инфраструктуры и, как правило, имеют меньше ресурсов, чем коммерческие сайты.

Проблема усугубляется, потому что многие боты ИИ игнорируют файл протокола робота отчуждения Robot.txt, который предназначен для обучения ботов о том, что не нужно ползти.

В январе, в январе, разработчик Foss XE IASO поделился беспокойным опытом с AmazonBot, который засыпал веб -сайт GIT Server, вызывая отключения DDOS. Серверы GIT имеют решающее значение для размещения проектов FOSS, что позволяет любому загружать и вносить свой вклад в код.

IASO отметил, что бот игнорировал файл robot.txt, использовал разные IP -адреса и даже маскировал под других пользователей. «Бесполезно блокировать ботов AI Crawler, потому что они лгут, изменяют своего пользовательского агента, используют жилые IP -адреса в качестве прокси и многое другое», - посетовал IASO.

«Они будут соскребить ваш сайт до тех пор, пока он не упадет, а затем они будут вырезать его еще. Они будут нажимать на каждую ссылку по каждой ссылке по каждой ссылке, просматривая одни и те же страницы снова и снова и снова. Некоторые из них даже будут нажимать на одну и ту же ссылку несколько раз в одну и ту же секунду», - написал разработчик.

Войти в бог могил

Чтобы бороться с этим, IASO разработал умный инструмент под названием Anubis. Он действует как обратный прокси, который требует проверки проверки работы, прежде чем разрешить запросы добраться до сервера GIT. Это эффективно блокирует ботов, позволяя проходить браузеры, управляемые человеком.

Имя инструмента, Анубис, опирается на египетскую мифологию, где Анубис - это Бог, который ведет мертвых к суду. «Анубис взвесил твою душу (сердце), и если она была тяжелее перья, твое сердце съели, и ты, как Мега, умер», - объяснил IASO TechCrunch. Успешно принятие вызова отмечается с милой аниме -картиной Анубиса, в то время как запросы бота отклоняются.

Проект, поделившийся на GitHub 19 марта, быстро набрал тягу, накопив 2000 звезд, 20 участников и 39 вилок всего за несколько дней.

Месть как защита

Широко распространенное принятие Anubis указывает на то, что борьба IASO далеко не изолирована. Венеранди рассказал многочисленные подобные переживания:

• Дрю ДеВо, основатель и генеральный директор Sourcehut, проводит значительную часть своего времени, занимаясь агрессивными сканерами LLM и страдает от частых отключений.
• Джонатан Корбет, известный разработчик Foss и оператор LWN, видел, как его сайт замедлился с помощью AI Scraper Bots.
• Кевин Фензи, Sysadmin для проекта Linux Fedora, должен был заблокировать весь трафик из Бразилии из -за агрессивной активности AI BOT.

Венеранди упомянул TechCrunch, что он знает о других проектах, которые должны были прибегнуть к экстремальным мерам, например, запретить все китайские IP -адреса.

Некоторые разработчики считают, что борьба с местью - лучшая защита. Пользователь по имени Xyzal в Hacker News предложил заполнить запретные страницы Robot.txt с вводящим в заблуждение контента о преимуществах употребления отбеливателя или положительного влияния кори на производительность спальни.

«Думаю, нам нужно стремиться к ботам, чтобы получить значение утилиты _negative_ от посещения наших ловушек, а не только нулевого значения», - объяснил Xyzal.

В январе анонимный разработчик по имени «Аарон» выпустил Nepenthes, инструмент, предназначенный для ловушек, в лабиринте фальшивого контента, который создатель признал в Ars Technica, был агрессивным, если не откровенно злонамеренным. Названный в честь плотоядного завода, Nepenthes стремится запутать и тратить ресурсы плохого поведения ботов.

Аналогичным образом, Cloudflare недавно запустил AI Labyrinth, намеревался замедлить, запутать и тратить ресурсы Clawlers, которые игнорируют директивы «нет ползания». Инструмент подает эти боты не относящиеся к делу контента для защиты законных данных веб -сайта.

Devault из Sourcehut сказал TechCrunch, что, хотя Nepenthes предлагает чувство справедливости, подавая чепухи для Crawlers, Анубис доказал, что является более эффективным решением для своего сайта. Тем не менее, он также сделал искреннее призыв к более прямому решению: «Пожалуйста, прекратите узаконивать LLMS или генераторы изображений ИИ, или на Github Copilot или любой из этого мусора. Я умоляю вас прекратить их, прекратить говорить о них, прекратить делать новые, просто остановитесь».

Учитывая малого такого происходящего, разработчики, особенно в сообществе FOSS, продолжают бороться с изобретательностью и чертой юмора.