开源开发人员用独创性和报应来对抗AI爬行者

许多软件开发人员称，AI Web爬行机器人已成为互联网的祸根。作为回应，一些开发人员已将与创造性且经常有趣的策略进行反击。

正如Linux桌面等离子体和博客Liblenews背后的开发人员NiccolòDenerandi所指出的那样，这些流氓机器人和博客都受到了巨大的打击。托管免费和开源项目的FOSS网站揭示了更多的基础设施，并且比商业网站的资源通常更少。

问题之所以加剧，是因为许多AI机器人忽略了机器人排除协议的robot.txt文件，该文件旨在指示bot的bot。

在一月份的一篇凄美的博客文章中，FOSS开发人员Xe IASO与AmazonBot分享了令人沮丧的经历，AmazonBot轰炸了GIT服务器网站，导致DDOS中断。 GIT服务器对于托管FOSS项目至关重要，允许任何人下载并为代码做出贡献。

IASO指出，该机器人无视robot.txt文件，使用了不同的IP地址，甚至伪装成其他用户。 IASO感叹：“阻止AI爬行机器人，因为它们躺在，更改其用户代理，使用住宅IP地址作为代理等是徒劳的。”

开发人员写道：“他们将刮擦您的网站，直到它掉落为止，然后将其刮擦一些。他们将单击每个链接上每个链接上的每个链接上的每个链接，一遍又一遍又一遍地查看相同的页面。其中一些甚至会在同一秒内多次单击相同的链接。”

进入坟墓之神

为了解决这个问题，IASO开发了一种称为Anubis的聪明工具。它充当反向代理，需要在允许请求到达GIT服务器之前进行工作证明检查。这有效地阻止了机器人，同时允许人体操作的浏览器通过。

该工具的名字阿努比斯（Anubis）摘自埃及神话，阿诺比斯（Anubis）是导致死者审判的上帝。艾索向TechCrunch解释说：“阿努比斯（Anubis）称重了你的灵魂（心），如果它比羽毛重，你的心被吃掉了，你就像，大巨人死了。”成功通过挑战的挑战是通过可爱的Anubis的动漫图片来庆祝的，而机器人请求被拒绝。

该项目于3月19日在Github上分享，迅速获得了吸引力，在短短几天内积累了2,000颗星，20个贡献者和39个叉子。

复仇作为防御

Anubis的广泛采用表明IASO的斗争远非孤立。 Venerandi讲述了许多类似的经历：

• Sourcehut的创始人兼首席执行官Drew Devault花费了很大一部分时间来处理激进的LLM爬行者，并经常发生停电。
• LWN的著名FOSS开发商兼运营商Jonathan Corbet看到他的网站被AI Scraper Bots放慢了速度。
• Linux Fedora项目Sysadmin的Kevin Fenzi由于积极的AI机器人活动而不得不阻止来自巴西的所有交通。

Venerandi向TechCrunch提到，他知道其他必须采取极端措施的项目，例如禁止所有中国IP地址。

一些开发人员认为，复仇反击是最好的防守。一位在黑客新闻中名为Xyzal的用户建议填充Robot.txt禁止页面，其中具有误导性的内容，内容涉及饮酒漂白剂的好处或麻疹对卧室表现的积极影响。

Xyzal解释说：“认为我们需要瞄准机器人从访问我们的陷阱中获得_negative_实用程序值，而不仅仅是零值。”

一月份，一位名为“亚伦”的匿名开发人员发布了Nepenthes，该工具旨在将爬行者捕捉到一个虚假内容的迷宫中，即使不是彻底的恶意，创作者承认这是攻击性的。 Nepenthes以一种食肉植物的名字命名，旨在混淆和浪费不当机器人的资源。

同样，Cloudflare最近推出了AI迷宫，打算放慢脚步，混淆和浪费忽略“无爬行”指令的AI爬网机的资源。该工具为这些机器人提供了无关紧要的内容以保护合法的网站数据。

Sourcehut的Devault告诉TechCrunch，尽管Nepenthes通过向爬行者喂食来提供了一种正义感，但Anubis已被证明是他网站更有效的解决方案。但是，他还为更直接的解决方案提出了衷心的辩护：“请停止合法化LLMS或AI Image Generators或Github Copilot或任何此垃圾。我恳求您停止使用它们，停止谈论它们，停止谈论它们，停止制作新的，请停止。”

鉴于发生这种情况的不可能，尤其是在福斯社区中的开发人员继续以独创性和幽默的态度进行反击。