選項
首頁
新聞
開源開發人員用獨創性和報應來對抗AI爬行者

開源開發人員用獨創性和報應來對抗AI爬行者

2025-04-17
304

AI網路爬蟲機器人已成為網路的禍害,許多軟體開發者均持此觀點。為因應此問題,一些開發者開始以創意且往往有趣的策略進行反擊。

開源軟體開發者尤其深受這些流氓機器人的影響,正如Linux桌面環境Plasma及LibreNews部落格的開發者Niccolò Venerandi所指出的。FOSS網站,作為免費開源項目的托管平台,暴露了更多的基礎架構,且通常比商業網站擁有更少的資源。

問題因許多AI機器人無視Robots Exclusion Protocol的robot.txt檔案而加劇,該檔案本應指示機器人哪些內容不可爬取。

在一篇於一月發表的感人部落格文章中,FOSS開發者Xe Iaso分享了與AmazonBot的痛苦經歷,該機器人對Git伺服器網站進行了猛烈攻擊,導致DDoS中斷。Git伺服器對於托管FOSS項目至關重要,允許任何人下載並貢獻程式碼。

Iaso指出,該機器人無視robot.txt檔案,使用不同的IP位址,甚至偽裝成其他用戶。Iaso感嘆道:「試圖阻止AI爬蟲機器人是徒勞的,因為它們會撒謊、變更用戶代理、使用住宅IP位址作為代理等等。」

該開發者寫道:「它們會不斷刮取你的網站直到它崩潰,然後繼續刮取。它們會點擊每個連結上的每個連結,無休止地重複瀏覽相同的頁面。有些甚至在同一秒內多次點擊同一連結。」

墓地之神的登場

為對抗此問題,Iaso開發了一個名為Anubis的巧妙工具。它作為反向代理,要求在允許請求到達Git伺服器之前進行工作量證明檢查。這有效阻擋了機器人,同時允許人類操作的瀏覽器通過。

該工具名為Anubis,源自埃及神話中引導死者接受審判的神祇。Iaso向TechCrunch解釋:「Anubis會稱量你的靈魂(心臟),如果它比羽毛還重,你的心臟會被吞噬,你將徹底死亡。」成功通過挑戰的用戶會看到一張可愛的Anubis動漫圖片,而機器人請求則被拒絕。

該項目於3月19日在GitHub上分享,迅速獲得關注,僅數天內便累積了2000顆星、20位貢獻者及39個分支。

以復仇作為防禦

Anubis的廣泛採用顯示Iaso的困境並非個案。Venerandi回顧了許多類似的經歷:

  • SourceHut的創始人兼執行長Drew DeVault花費大量時間處理激進的LLM爬蟲,並頻繁遭遇中斷。
  • 知名FOSS開發者及LWN運營者Jonathan Corbet發現其網站因AI刮取機器人而變慢。
  • Linux Fedora項目的系統管理員Kevin Fenzi因激進的AI機器人活動,不得不封鎖來自巴西的所有流量。

Venerandi向TechCrunch提到,他知道其他項目不得不採取極端措施,例如禁止所有中國IP位址。

一些開發者認為,以復仇的方式反擊是最佳防禦。Hacker News上名為xyzal的用戶建議在robot.txt禁止的頁面中填充誤導性內容,例如宣揚飲用漂白水的好處或麻疹對臥室表現的正面影響。

xyzal解釋道:「我們需要讓機器人從訪問我們的陷阱中獲得負面的效用價值,而不僅僅是零價值。」

一月,一位匿名開發者「Aaron」發布了Nepenthes,一款旨在將爬蟲困在虛假內容迷宮中的工具,其創作者向Ars Technica承認這是激進的,甚至近乎惡意。Nepenthes以肉食性植物命名,旨在迷惑並浪費不良機器人的資源。

同樣地,Cloudflare最近推出了AI Labyrinth,旨在減緩、迷惑並浪費無視「禁止爬取」指令的AI爬蟲的資源。該工具向這些機器人提供無關內容,以保護合法網站數據。

SourceHut的DeVault向TechCrunch表示,雖然Nepenthes通過向爬蟲提供無意義內容帶來正義感,但Anubis對其網站證明更為有效。然而,他也真誠地呼籲更直接的解決方案:「請停止為LLM、AI圖像生成器或GitHub Copilot等垃圾產品正名。我懇求你們停止使用它們,停止討論它們,停止創造新的產品,就此停下。」

鑑於這不太可能實現,特別是FOSS社群的開發者們繼續以創意和一絲幽默進行反擊。

相關文章
蘋果智慧眼鏡或將在WWDC27上首次亮相,重點突出隱私保護 蘋果智慧眼鏡或將在WWDC27上首次亮相,重點突出隱私保護 彭博社的馬克·古爾曼報道,蘋果智慧眼鏡(內部代號 N50)計劃於 2027 年 6 月的全球開發者大會(WWDC27)上首次亮相,零售版預計將於 2027 年秋季上市。該裝置原定於今年晚些時候及 2027 年初發布,但現已推遲,以便進行進一步的產品完善並加強隱私保護協議。隱私仍是蘋果智慧眼鏡戰略的核心支柱。從 Meta 等競爭對手的隱私爭議中吸取教訓,蘋果正在實施強有力的功能與政策。目前考慮的方案包括:完全移除攝像頭,專注於人工智慧互動、音訊播放和通話;或保留攝像頭但禁用照片和影片錄製功能,僅
內部細節曝光:下一代 Gemini 算力緊張,內部團隊在開發優先順序和資源分配上存在分歧 內部細節曝光:下一代 Gemini 算力緊張,內部團隊在開發優先順序和資源分配上存在分歧 報告顯示,谷歌備受期待的下一代 Gemini 模型釋出已被推遲。由於內部在開發優先順序和資源分配上存在分歧,加上計算能力有限以及複雜的審批流程,導致釋出時間延後了兩個月。儘管谷歌擁有定製的 TPU 晶片,但由於模型訓練、Google Cloud 服務以及眾多消費和企業級 AI 應用對計算資源的需求相互競爭,谷歌仍面臨計算資源短缺的問題。目前,高層管理人員正透過組織結構調整來解決這些部門間的衝突。與此同時,領導層也發生了變化,聯合創始人謝爾蓋·布林越來越多地參與到核心模型訓練中,並倡導將資源專門用於
OpenAI 否認增長放緩擔憂,稱多個業務部門加速發展 OpenAI 否認增長放緩擔憂,稱多個業務部門加速發展 針對外界對其銷售增長放緩及未達內部基準的質疑,人工智慧領域的領軍企業 OpenAI 於 4 月 28 日(星期二)發表了一份信心十足的宣告。該公司澄清稱,其消費產品和企業服務正在快速推進,直接駁斥了近期關於業務放緩的猜測。針對該公司“未達成多項內部目標”的說法,OpenAI 將這些報道斥為“典型的標題黨”。公司強調了企業對 AI 整合的強勁需求,並指出其廣告業務早期增長前景良好。據 OpenAI 內部人士透露,公司內部情緒依然樂觀。儘管市場競爭日益激烈,但公司正在向投資者傳遞信心,聲稱其商業
相關專題推薦
數據分析 用於收入看板、轉化漏斗分析及產品指標分析的 AI SQL 助手
用於收入看板、轉化漏斗分析及產品指標分析的 AI SQL 助手

2026年最新最優秀的AI SQL輔助工具排名揭曉!XIX.AI精心挑選了一系列功能強大的工具,這些工具會定期更新,並透過真實的場景測試來驗證其效能。使用這些值得嘗試的工具,您可以快速生成精準的收入分析報表、分析銷售流程,並追蹤產品各項指標,從而大幅提升工作效率。立即探索,找到最適合您的資料驅動決策工具!238個字元

9 個工具
xix.ai
音樂創作 最佳用於歌曲草稿的 AI 旋律創作工具
最佳用於歌曲草稿的 AI 旋律創作工具

2026 年最新最佳頂級評分 AI 旋律創作工具,助力歌曲草稿創作!XIX.AI 精心策劃了一套極具影響力且經過嚴格真實世界測試的變革性合集,旨在提供最佳的創作體驗。您可以找到詳細的免費與付費版對比、精準的排名以及必試選項,這些工具旨在幫助您輕鬆創作出令人驚豔的歌曲草稿,並顯著提升您的創意生產力。立即探索,發現您的完美工具!

8 個工具
xix.ai
聊天機器人 最適合面試練習的 AI 對話訓練工具
最適合面試練習的 AI 對話訓練工具

2026 年最新、最受好評的 AI 面試對話訓練工具,盡在 XIX.AI!這份精心精選的清單收錄了多款功能強大、顛覆傳統的工具,這些工具均經過嚴格的實戰測試,能提供精準的回饋。 您將在此找到免費版與付費版的比較分析,以及詳細的排名榜單,助您挑選必試的選項,從而提升自信與技能。立即探索,發掘助您在面試中脫穎而出的完美工具!

12 個工具
xix.ai
設計與藝術 最適合進行創意實驗的 AI 風格轉移工具
最適合進行創意實驗的 AI 風格轉移工具

2026 年最新、最佳且評價最高的 AI 風格轉移工具,助您進行創意實驗!XIX.AI 精心精選了一系列強大且具革命性的必試工具,這些工具經實際測試與嚴格評比,能帶來卓越成果。這些頂尖解決方案能加速內容創作並開啟無盡的創意可能性,協助創作者顯著提升生產力。 立即探索,找出最適合您的工具,並從今天開始創作吧!

9 個工具
xix.ai
漫畫創作 最適合視覺敘事的 AI 對話氣泡工具
最適合視覺敘事的 AI 對話氣泡工具

2026 年最新、最受好評的視覺敘事 AI 對話氣泡工具,現已登陸 XIX.AI!這份精心挑選的合集收錄了強大且具顛覆性的工具,能協助創作者提升生產力並突破創作瓶頸。 查看免費版與付費版的比較、參考實際測試結果,並查閱最新排行榜,找出最適合打造引人入勝視覺敘事的必試解決方案。立即探索,發掘您的理想工具!

10 個工具
xix.ai
會議助理 頂尖 AI 會議摘要工具:清晰追蹤決策與後續行動
頂尖 AI 會議摘要工具:清晰追蹤決策與後續行動

2026 年最新高評價最佳 AI 會議摘要工具,助您清晰追蹤決策並輕鬆進行後續跟進。這份精選清單展示了一系列強大且具顛覆性的解決方案,透過自動化會議記錄、識別關鍵行動項目,以及簡化所有專案的團隊協作,大幅提升生產力。 獲取免費版與付費版的比較分析,搭配實際測試報告及每週更新的排行榜,助您找到最合適的工具。立即探索,釋放您的 AI 優勢!

9 個工具
xix.ai
評論 (20)
0/500
KennethMartin
KennethMartin 2026-04-27 10:00:32

Interesting read! It's wild how AI crawlers are basically the new internet pests. I've seen some devs use fake data traps or even redirect bots to weird sites 😂. But honestly, should we be worried about a future where only big companies can afford to protect their content? Feels like a digital arms race.

PaulTaylor
PaulTaylor 2026-03-24 00:00:48

¡Qué creatividad la de estos desarrolladores! 😃 Me preocupa que esta 'lucha' contra los crawlers de IA consuma tanto tiempo y energía que podría desviarlos de lo realmente importante: programar. Ojalá hubiera soluciones más estandarizadas, porque esto parece una carrera armamentística sin fin.

KennethMartin
KennethMartin 2025-08-19 03:01:01

These AI crawlers are like uninvited guests at a party, munching on all the free code! 😅 Devs fighting back with clever traps is pure genius—love the creativity!

OliverPhillips
OliverPhillips 2025-08-04 19:00:59

Wow, open source devs are getting super creative fighting those AI crawlers! I love how they’re turning the tables with clever traps—kinda like digital pranksters. Makes me wonder how far this cat-and-mouse game will go! 😄

KennethJones
KennethJones 2025-08-01 14:47:41

Super interesting read! It's wild how devs are outsmarting AI crawlers with such clever tricks. Gotta love the open-source community's creativity! 😎

LucasWalker
LucasWalker 2025-04-24 11:52:46

オープンソース開発者にとってこのツールは救世主です!AIクローラーに対する反撃が面白くて、クリエイティブさと正義感がコミュニティに広がるのが好きです。もっとカスタマイズできる機能が増えるといいですね🤓

OR