開源開發人員用獨創性和報應來對抗AI爬行者
AI網路爬蟲機器人已成為網路的禍害,許多軟體開發者均持此觀點。為因應此問題,一些開發者開始以創意且往往有趣的策略進行反擊。
開源軟體開發者尤其深受這些流氓機器人的影響,正如Linux桌面環境Plasma及LibreNews部落格的開發者Niccolò Venerandi所指出的。FOSS網站,作為免費開源項目的托管平台,暴露了更多的基礎架構,且通常比商業網站擁有更少的資源。
問題因許多AI機器人無視Robots Exclusion Protocol的robot.txt檔案而加劇,該檔案本應指示機器人哪些內容不可爬取。
在一篇於一月發表的感人部落格文章中,FOSS開發者Xe Iaso分享了與AmazonBot的痛苦經歷,該機器人對Git伺服器網站進行了猛烈攻擊,導致DDoS中斷。Git伺服器對於托管FOSS項目至關重要,允許任何人下載並貢獻程式碼。
Iaso指出,該機器人無視robot.txt檔案,使用不同的IP位址,甚至偽裝成其他用戶。Iaso感嘆道:「試圖阻止AI爬蟲機器人是徒勞的,因為它們會撒謊、變更用戶代理、使用住宅IP位址作為代理等等。」
該開發者寫道:「它們會不斷刮取你的網站直到它崩潰,然後繼續刮取。它們會點擊每個連結上的每個連結,無休止地重複瀏覽相同的頁面。有些甚至在同一秒內多次點擊同一連結。」
墓地之神的登場
為對抗此問題,Iaso開發了一個名為Anubis的巧妙工具。它作為反向代理,要求在允許請求到達Git伺服器之前進行工作量證明檢查。這有效阻擋了機器人,同時允許人類操作的瀏覽器通過。
該工具名為Anubis,源自埃及神話中引導死者接受審判的神祇。Iaso向TechCrunch解釋:「Anubis會稱量你的靈魂(心臟),如果它比羽毛還重,你的心臟會被吞噬,你將徹底死亡。」成功通過挑戰的用戶會看到一張可愛的Anubis動漫圖片,而機器人請求則被拒絕。
該項目於3月19日在GitHub上分享,迅速獲得關注,僅數天內便累積了2000顆星、20位貢獻者及39個分支。

以復仇作為防禦
Anubis的廣泛採用顯示Iaso的困境並非個案。Venerandi回顧了許多類似的經歷:
- SourceHut的創始人兼執行長Drew DeVault花費大量時間處理激進的LLM爬蟲,並頻繁遭遇中斷。
- 知名FOSS開發者及LWN運營者Jonathan Corbet發現其網站因AI刮取機器人而變慢。
- Linux Fedora項目的系統管理員Kevin Fenzi因激進的AI機器人活動,不得不封鎖來自巴西的所有流量。
Venerandi向TechCrunch提到,他知道其他項目不得不採取極端措施,例如禁止所有中國IP位址。
一些開發者認為,以復仇的方式反擊是最佳防禦。Hacker News上名為xyzal的用戶建議在robot.txt禁止的頁面中填充誤導性內容,例如宣揚飲用漂白水的好處或麻疹對臥室表現的正面影響。
xyzal解釋道:「我們需要讓機器人從訪問我們的陷阱中獲得負面的效用價值,而不僅僅是零價值。」
一月,一位匿名開發者「Aaron」發布了Nepenthes,一款旨在將爬蟲困在虛假內容迷宮中的工具,其創作者向Ars Technica承認這是激進的,甚至近乎惡意。Nepenthes以肉食性植物命名,旨在迷惑並浪費不良機器人的資源。
同樣地,Cloudflare最近推出了AI Labyrinth,旨在減緩、迷惑並浪費無視「禁止爬取」指令的AI爬蟲的資源。該工具向這些機器人提供無關內容,以保護合法網站數據。
SourceHut的DeVault向TechCrunch表示,雖然Nepenthes通過向爬蟲提供無意義內容帶來正義感,但Anubis對其網站證明更為有效。然而,他也真誠地呼籲更直接的解決方案:「請停止為LLM、AI圖像生成器或GitHub Copilot等垃圾產品正名。我懇求你們停止使用它們,停止討論它們,停止創造新的產品,就此停下。」
鑑於這不太可能實現,特別是FOSS社群的開發者們繼續以創意和一絲幽默進行反擊。
相關文章
蘋果智慧眼鏡或將在WWDC27上首次亮相,重點突出隱私保護
彭博社的馬克·古爾曼報道,蘋果智慧眼鏡(內部代號 N50)計劃於 2027 年 6 月的全球開發者大會(WWDC27)上首次亮相,零售版預計將於 2027 年秋季上市。該裝置原定於今年晚些時候及 2027 年初發布,但現已推遲,以便進行進一步的產品完善並加強隱私保護協議。隱私仍是蘋果智慧眼鏡戰略的核心支柱。從 Meta 等競爭對手的隱私爭議中吸取教訓,蘋果正在實施強有力的功能與政策。目前考慮的方案包括:完全移除攝像頭,專注於人工智慧互動、音訊播放和通話;或保留攝像頭但禁用照片和影片錄製功能,僅
內部細節曝光:下一代 Gemini 算力緊張,內部團隊在開發優先順序和資源分配上存在分歧
報告顯示,谷歌備受期待的下一代 Gemini 模型釋出已被推遲。由於內部在開發優先順序和資源分配上存在分歧,加上計算能力有限以及複雜的審批流程,導致釋出時間延後了兩個月。儘管谷歌擁有定製的 TPU 晶片,但由於模型訓練、Google Cloud 服務以及眾多消費和企業級 AI 應用對計算資源的需求相互競爭,谷歌仍面臨計算資源短缺的問題。目前,高層管理人員正透過組織結構調整來解決這些部門間的衝突。與此同時,領導層也發生了變化,聯合創始人謝爾蓋·布林越來越多地參與到核心模型訓練中,並倡導將資源專門用於
OpenAI 否認增長放緩擔憂,稱多個業務部門加速發展
針對外界對其銷售增長放緩及未達內部基準的質疑,人工智慧領域的領軍企業 OpenAI 於 4 月 28 日(星期二)發表了一份信心十足的宣告。該公司澄清稱,其消費產品和企業服務正在快速推進,直接駁斥了近期關於業務放緩的猜測。針對該公司“未達成多項內部目標”的說法,OpenAI 將這些報道斥為“典型的標題黨”。公司強調了企業對 AI 整合的強勁需求,並指出其廣告業務早期增長前景良好。據 OpenAI 內部人士透露,公司內部情緒依然樂觀。儘管市場競爭日益激烈,但公司正在向投資者傳遞信心,聲稱其商業
相關專題推薦
評論 (20)
0/500
Interesting read! It's wild how AI crawlers are basically the new internet pests. I've seen some devs use fake data traps or even redirect bots to weird sites 😂. But honestly, should we be worried about a future where only big companies can afford to protect their content? Feels like a digital arms race.
¡Qué creatividad la de estos desarrolladores! 😃 Me preocupa que esta 'lucha' contra los crawlers de IA consuma tanto tiempo y energía que podría desviarlos de lo realmente importante: programar. Ojalá hubiera soluciones más estandarizadas, porque esto parece una carrera armamentística sin fin.
These AI crawlers are like uninvited guests at a party, munching on all the free code! 😅 Devs fighting back with clever traps is pure genius—love the creativity!
Wow, open source devs are getting super creative fighting those AI crawlers! I love how they’re turning the tables with clever traps—kinda like digital pranksters. Makes me wonder how far this cat-and-mouse game will go! 😄
Super interesting read! It's wild how devs are outsmarting AI crawlers with such clever tricks. Gotta love the open-source community's creativity! 😎
AI網路爬蟲機器人已成為網路的禍害,許多軟體開發者均持此觀點。為因應此問題,一些開發者開始以創意且往往有趣的策略進行反擊。
開源軟體開發者尤其深受這些流氓機器人的影響,正如Linux桌面環境Plasma及LibreNews部落格的開發者Niccolò Venerandi所指出的。FOSS網站,作為免費開源項目的托管平台,暴露了更多的基礎架構,且通常比商業網站擁有更少的資源。
問題因許多AI機器人無視Robots Exclusion Protocol的robot.txt檔案而加劇,該檔案本應指示機器人哪些內容不可爬取。
在一篇於一月發表的感人部落格文章中,FOSS開發者Xe Iaso分享了與AmazonBot的痛苦經歷,該機器人對Git伺服器網站進行了猛烈攻擊,導致DDoS中斷。Git伺服器對於托管FOSS項目至關重要,允許任何人下載並貢獻程式碼。
Iaso指出,該機器人無視robot.txt檔案,使用不同的IP位址,甚至偽裝成其他用戶。Iaso感嘆道:「試圖阻止AI爬蟲機器人是徒勞的,因為它們會撒謊、變更用戶代理、使用住宅IP位址作為代理等等。」
該開發者寫道:「它們會不斷刮取你的網站直到它崩潰,然後繼續刮取。它們會點擊每個連結上的每個連結,無休止地重複瀏覽相同的頁面。有些甚至在同一秒內多次點擊同一連結。」
墓地之神的登場
為對抗此問題,Iaso開發了一個名為Anubis的巧妙工具。它作為反向代理,要求在允許請求到達Git伺服器之前進行工作量證明檢查。這有效阻擋了機器人,同時允許人類操作的瀏覽器通過。
該工具名為Anubis,源自埃及神話中引導死者接受審判的神祇。Iaso向TechCrunch解釋:「Anubis會稱量你的靈魂(心臟),如果它比羽毛還重,你的心臟會被吞噬,你將徹底死亡。」成功通過挑戰的用戶會看到一張可愛的Anubis動漫圖片,而機器人請求則被拒絕。
該項目於3月19日在GitHub上分享,迅速獲得關注,僅數天內便累積了2000顆星、20位貢獻者及39個分支。

以復仇作為防禦
Anubis的廣泛採用顯示Iaso的困境並非個案。Venerandi回顧了許多類似的經歷:
- SourceHut的創始人兼執行長Drew DeVault花費大量時間處理激進的LLM爬蟲,並頻繁遭遇中斷。
- 知名FOSS開發者及LWN運營者Jonathan Corbet發現其網站因AI刮取機器人而變慢。
- Linux Fedora項目的系統管理員Kevin Fenzi因激進的AI機器人活動,不得不封鎖來自巴西的所有流量。
Venerandi向TechCrunch提到,他知道其他項目不得不採取極端措施,例如禁止所有中國IP位址。
一些開發者認為,以復仇的方式反擊是最佳防禦。Hacker News上名為xyzal的用戶建議在robot.txt禁止的頁面中填充誤導性內容,例如宣揚飲用漂白水的好處或麻疹對臥室表現的正面影響。
xyzal解釋道:「我們需要讓機器人從訪問我們的陷阱中獲得負面的效用價值,而不僅僅是零價值。」
一月,一位匿名開發者「Aaron」發布了Nepenthes,一款旨在將爬蟲困在虛假內容迷宮中的工具,其創作者向Ars Technica承認這是激進的,甚至近乎惡意。Nepenthes以肉食性植物命名,旨在迷惑並浪費不良機器人的資源。
同樣地,Cloudflare最近推出了AI Labyrinth,旨在減緩、迷惑並浪費無視「禁止爬取」指令的AI爬蟲的資源。該工具向這些機器人提供無關內容,以保護合法網站數據。
SourceHut的DeVault向TechCrunch表示,雖然Nepenthes通過向爬蟲提供無意義內容帶來正義感,但Anubis對其網站證明更為有效。然而,他也真誠地呼籲更直接的解決方案:「請停止為LLM、AI圖像生成器或GitHub Copilot等垃圾產品正名。我懇求你們停止使用它們,停止討論它們,停止創造新的產品,就此停下。」
鑑於這不太可能實現,特別是FOSS社群的開發者們繼續以創意和一絲幽默進行反擊。
蘋果智慧眼鏡或將在WWDC27上首次亮相,重點突出隱私保護
彭博社的馬克·古爾曼報道,蘋果智慧眼鏡(內部代號 N50)計劃於 2027 年 6 月的全球開發者大會(WWDC27)上首次亮相,零售版預計將於 2027 年秋季上市。該裝置原定於今年晚些時候及 2027 年初發布,但現已推遲,以便進行進一步的產品完善並加強隱私保護協議。隱私仍是蘋果智慧眼鏡戰略的核心支柱。從 Meta 等競爭對手的隱私爭議中吸取教訓,蘋果正在實施強有力的功能與政策。目前考慮的方案包括:完全移除攝像頭,專注於人工智慧互動、音訊播放和通話;或保留攝像頭但禁用照片和影片錄製功能,僅
內部細節曝光:下一代 Gemini 算力緊張,內部團隊在開發優先順序和資源分配上存在分歧
報告顯示,谷歌備受期待的下一代 Gemini 模型釋出已被推遲。由於內部在開發優先順序和資源分配上存在分歧,加上計算能力有限以及複雜的審批流程,導致釋出時間延後了兩個月。儘管谷歌擁有定製的 TPU 晶片,但由於模型訓練、Google Cloud 服務以及眾多消費和企業級 AI 應用對計算資源的需求相互競爭,谷歌仍面臨計算資源短缺的問題。目前,高層管理人員正透過組織結構調整來解決這些部門間的衝突。與此同時,領導層也發生了變化,聯合創始人謝爾蓋·布林越來越多地參與到核心模型訓練中,並倡導將資源專門用於
OpenAI 否認增長放緩擔憂,稱多個業務部門加速發展
針對外界對其銷售增長放緩及未達內部基準的質疑,人工智慧領域的領軍企業 OpenAI 於 4 月 28 日(星期二)發表了一份信心十足的宣告。該公司澄清稱,其消費產品和企業服務正在快速推進,直接駁斥了近期關於業務放緩的猜測。針對該公司“未達成多項內部目標”的說法,OpenAI 將這些報道斥為“典型的標題黨”。公司強調了企業對 AI 整合的強勁需求,並指出其廣告業務早期增長前景良好。據 OpenAI 內部人士透露,公司內部情緒依然樂觀。儘管市場競爭日益激烈,但公司正在向投資者傳遞信心,聲稱其商業
Interesting read! It's wild how AI crawlers are basically the new internet pests. I've seen some devs use fake data traps or even redirect bots to weird sites 😂. But honestly, should we be worried about a future where only big companies can afford to protect their content? Feels like a digital arms race.
¡Qué creatividad la de estos desarrolladores! 😃 Me preocupa que esta 'lucha' contra los crawlers de IA consuma tanto tiempo y energía que podría desviarlos de lo realmente importante: programar. Ojalá hubiera soluciones más estandarizadas, porque esto parece una carrera armamentística sin fin.
These AI crawlers are like uninvited guests at a party, munching on all the free code! 😅 Devs fighting back with clever traps is pure genius—love the creativity!
Wow, open source devs are getting super creative fighting those AI crawlers! I love how they’re turning the tables with clever traps—kinda like digital pranksters. Makes me wonder how far this cat-and-mouse game will go! 😄
Super interesting read! It's wild how devs are outsmarting AI crawlers with such clever tricks. Gotta love the open-source community's creativity! 😎





首頁






