開源開發人員用獨創性和報應來對抗AI爬行者

許多軟件開發人員稱，AI Web爬行機器人已成為互聯網的禍根。作為回應，一些開發人員已將與創造性且經常有趣的策略進行反擊。

正如Linux桌面等離子體和博客Liblenews背後的開發人員NiccolòDenerandi所指出的那樣，這些流氓機器人和博客都受到了巨大的打擊。託管免費和開源項目的FOSS網站揭示了更多的基礎設施，並且比商業網站的資源通常更少。

問題之所以加劇，是因為許多AI機器人忽略了機器人排除協議的robot.txt文件，該文件旨在指示bot的bot。

在一月份的一篇淒美的博客文章中，FOSS開發人員Xe IASO與AmazonBot分享了令人沮喪的經歷，AmazonBot轟炸了GIT服務器網站，導致DDOS中斷。 GIT服務器對於託管FOSS項目至關重要，允許任何人下載並為代碼做出貢獻。

IASO指出，該機器人無視robot.txt文件，使用了不同的IP地址，甚至偽裝成其他用戶。 IASO感嘆：“阻止AI爬行機器人，因為它們躺在，更改其用戶代理，使用住宅IP地址作為代理等是徒勞的。”

開發人員寫道：“他們將刮擦您的網站，直到它掉落為止，然後將其刮擦一些。他們將單擊每個鏈接上每個鏈接上的每個鏈接上的每個鏈接，一遍又一遍又一遍地查看相同的頁面。其中一些甚至會在同一秒內多次單擊相同的鏈接。”

進入墳墓之神

為了解決這個問題，IASO開發了一種稱為Anubis的聰明工具。它充當反向代理，需要在允許請求到達GIT服務器之前進行工作證明檢查。這有效地阻止了機器人，同時允許人體操作的瀏覽器通過。

該工具的名字阿努比斯（Anubis）摘自埃及神話，阿諾比斯（Anubis）是導致死者審判的上帝。艾索向TechCrunch解釋說：“阿努比斯（Anubis）稱重了你的靈魂（心），如果它比羽毛重，你的心被吃掉了，你就像，大巨人死了。”成功通過挑戰的挑戰是通過可愛的Anubis的動漫圖片來慶祝的，而機器人請求被拒絕。

該項目於3月19日在Github上分享，迅速獲得了吸引力，在短短幾天內積累了2,000顆星，20個貢獻者和39個叉子。

復仇作為防禦

Anubis的廣泛採用表明IASO的鬥爭遠非孤立。 Venerandi講述了許多類似的經歷：

• Sourcehut的創始人兼首席執行官Drew Devault花費了很大一部分時間來處理激進的LLM爬行者，並經常發生停電。
• LWN的著名FOSS開發商兼運營商Jonathan Corbet看到他的網站被AI Scraper Bots放慢了速度。
• Linux Fedora項目Sysadmin的Kevin Fenzi由於積極的AI機器人活動而不得不阻止來自巴西的所有交通。

Venerandi向TechCrunch提到，他知道其他必須採取極端措施的項目，例如禁止所有中國IP地址。

一些開發人員認為，復仇反擊是最好的防守。一位在黑客新聞中名為Xyzal的用戶建議填充Robot.txt禁止頁面，其中具有誤導性的內容，內容涉及飲酒漂白劑的好處或麻疹對臥室表現的積極影響。

Xyzal解釋說：“認為我們需要瞄準機器人從訪問我們的陷阱中獲得_negative_實用程序值，而不僅僅是零值。”

一月份，一位名為“亞倫”的匿名開發人員發布了Nepenthes，該工具旨在將爬行者捕捉到一個虛假內容的迷宮中，即使不是徹底的惡意，創作者承認這是攻擊性的。 Nepenthes以一種食肉植物的名字命名，旨在混淆和浪費不當機器人的資源。

同樣，Cloudflare最近推出了AI迷宮，打算放慢腳步，混淆和浪費忽略“無爬行”指令的AI爬網機的資源。該工具為這些機器人提供了無關緊要的內容以保護合法的網站數據。

Sourcehut的Devault告訴TechCrunch，儘管Nepenthes通過向爬行者餵食來提供了一種正義感，但Anubis已被證明是他網站更有效的解決方案。但是，他還為更直接的解決方案提出了衷心的辯護：“請停止合法化LLMS或AI Image Generators或Github Copilot或任何此垃圾。我懇求您停止使用它們，停止談論它們，停止談論它們，停止製作新的，請停止。”

鑑於發生這種情況的不可能，尤其是在福斯社區中的開發人員繼續以獨創性和幽默的態度進行反擊。