オープンソース開発者は、創意工夫と報復でAIクローラーと戦う
AIウェブクローリングボットは、多くのソフトウェア開発者によると、インターネットの悩みの種となっています。これに対し、一部の開発者は創造的かつしばしばユーモラスな戦略で反撃しています。
オープンソース開発者は、特にこれらの不正なボットによって大きな影響を受けています。LinuxデスクトップPlasmaやブログLibreNewsの開発者であるNiccolò Venerandiが指摘しているように、FOSSサイトは無料でオープンソースのプロジェクトをホストしており、インフラをより多く公開し、商用サイトよりもリソースが少ない傾向があります。
問題は、多くのAIボットがRobots Exclusion Protocolのrobot.txtファイルを無視し、どのページをクロールしないかを指示するはずのこのファイルを無視することで、さらに悪化しています。
1月の感動的なブログ投稿で、FOSS開発者のXe Iasoは、AmazonBotがGitサーバーウェブサイトを攻撃し、DDoSによるダウンタイムを引き起こした辛い経験を共有しました。Gitサーバーは、FOSSプロジェクトをホストし、誰でもコードをダウンロードして貢献できるようにするために重要です。
Iasoは、ボットがrobot.txtファイルを無視し、異なるIPアドレスを使用し、他のユーザーになりすましたと指摘しました。「AIクローラーボットをブロックするのは無駄です。なぜなら、彼らは嘘をつき、ユーザーエージェントを変更し、住宅用IPアドレスをプロキシとして使用するなどするからです」とIasoは嘆きました。
「彼らはあなたのサイトをダウンさせるまでスクレイピングし、その後もさらにスクレイピングします。リンクのリンクのリンクをすべてクリックし、同じページを何度も何度も見ます。一部は同じリンクを1秒間に複数回クリックします」と開発者は書いています。
墓の神の登場
これに対抗するため、IasoはAnubisという巧妙なツールを開発しました。これは、リクエストがGitサーバーに到達する前に作業証明チェックを要求するリバースプロキシとして機能します。これにより、ボットを効果的にブロックし、人間が操作するブラウザを通過させます。
ツールの名前Anubisは、エジプト神話に由来し、Anubisは死者を審判に導く神です。「Anubisはあなたの魂(心臓)を量り、羽よりも重ければ、心臓は食べられ、あなたは完全に死にます」とIasoはTechCrunchに説明しました。チャレンジを成功裏に通過すると、Anubisの可愛いアニメ画像が表示され、ボットのリクエストは拒否されます。
3月19日にGitHubで共有されたこのプロジェクトは、すぐに注目を集め、数日で2000のスター、20のコントリビューター、39のフォークを獲得しました。

報復としての防御
Anubisの広範な採用は、Iasoの苦労が孤立したものではないことを示しています。Venerandiは同様の経験を数多く語りました:
- SourceHutの創設者兼CEOであるDrew DeVaultは、攻撃的なLLMクローラーに対応するために多くの時間を費やし、頻繁なダウンタイムに苦しんでいます。
- LWNの運営者であり著名なFOSS開発者であるJonathan Corbetは、AIスクレイパーボットによってサイトの速度が低下しています。
- Linux Fedoraプロジェクトのシステム管理者であるKevin Fenziは、攻撃的なAIボットの活動により、ブラジルからのすべてのトラフィックをブロックする必要がありました。
VenerandiはTechCrunchに対し、他のプロジェクトが中国のすべてのIPアドレスを禁止するなどの極端な手段に頼らざるを得なかったことを知っていると述べました。
一部の開発者は、報復で反撃することが最良の防御だと考えています。Hacker Newsのユーザーxyzalは、robot.txtで禁止されたページに、漂白剤を飲むことの利点やはしかが寝室でのパフォーマンスに与える良い影響についての誤解を招く内容を詰め込むことを提案しました。
「ボットが我々の罠を訪れることで負の効用価値を得ることを目指すべきで、ゼロ価値ではダメです」とxyzalは説明しました。
1月、匿名開発者の「Aaron」がNepenthesをリリースしました。これは、クローラーを偽のコンテンツの迷路に閉じ込めるツールで、作成者はArs Technicaに対し、攻撃的でほぼ悪意的なものだと認めました。肉食植物にちなんで名付けられたNepenthesは、ルールを守らないボットを混乱させ、リソースを浪費させることを目指しています。
同様に、Cloudflareは最近、AI Labyrinthをリリースしました。これは、「クロール禁止」指示を無視するAIクローラーを遅らせ、混乱させ、リソースを浪費させることを目的としています。このツールは、正当なウェブサイトデータを保護するために、これらのボットに無関係なコンテンツを供給します。
SourceHutのDeVaultはTechCrunchに対し、Nepenthesはクローラーにナンセンスを供給することで正義の感覚を提供するが、Anubisが彼のサイトにとってより効果的な解決策であることが証明されたと述べました。しかし、彼はまた、より直接的な解決策を心から求めました:「LLMやAI画像ジェネレーター、GitHub Copilot、その他このようなゴミを正当化するのをやめてください。使わないで、話さないで、新しいものを作らないで、やめてください。」
これが実現する可能性が低い中、FOSSコミュニティの開発者たちは、独創性とユーモアを交えて反撃を続けています。
関連記事
Yaoke Media初のAIGCドラマ『秦嶺の青銅の謎』が本日配信開始、AIが演じる主演キャストが登場
本日、Yaoke MediaのAIGCファンタジー・ミステリー短編ドラマ『秦嶺青銅の秘話』が正式に公開されました。同社が初めて契約した2人のAI俳優、秦凌月と林西燕燕が主演を務め、物語は謎に包まれた秦嶺の鉱山地帯を舞台に展開されます。 物語は、引退した諜報員・秦月がチームを率いてその奥深くへと入り込み、長年埋もれていた鉱山事故と、2世代にわたる血の生贄の真実を暴いていく様子を描きます。その真実は、
サティヤ・ナデラ、新たなOpenAIとの契約を活用する準備ができている
水曜日に、ウォール・ストリートのアナリストがマイクロソフトのCEOであるサティヤ・ナデラ氏に直接尋ねました。改正されたOpenAIとの提携関係が同社の財務状況にどのような影響を与えるのかと。ナデラ氏はこの新しい協定を「皆にとっての勝利」と表現しました。「OpenAIとの提携については満足しています。私は常にどんな提携でもウィンウィンの関係を築くことに重点を置いています。そうすることで、長期的に良いパートナーシップを維持できるからです。」彼は、マイクロソフトが依然としてOpenAIの知的財産、
WordPress.comでは、AIエージェントによる投稿の作成や公開が可能になりました。その他にもさまざまな機能が追加されています。
人気のウェブホスティング・パブリッシングプラットフォームであるWordPress.comが、AIエージェントの導入に乗り出した。この動きは、ウェブのあり方を一変させる可能性がある。同社は金曜日、AIエージェントが顧客のウェブサイト上でコンテンツの下書き作成、編集、公開を行うほか、コメントの管理、メタデータの更新・修正、タグやカテゴリを用いたコンテンツの整理も可能になると発表した。これらすべての操作
関連特集おすすめ
コメント (20)
0/500
Interesting read! It's wild how AI crawlers are basically the new internet pests. I've seen some devs use fake data traps or even redirect bots to weird sites 😂. But honestly, should we be worried about a future where only big companies can afford to protect their content? Feels like a digital arms race.
¡Qué creatividad la de estos desarrolladores! 😃 Me preocupa que esta 'lucha' contra los crawlers de IA consuma tanto tiempo y energía que podría desviarlos de lo realmente importante: programar. Ojalá hubiera soluciones más estandarizadas, porque esto parece una carrera armamentística sin fin.
These AI crawlers are like uninvited guests at a party, munching on all the free code! 😅 Devs fighting back with clever traps is pure genius—love the creativity!
Wow, open source devs are getting super creative fighting those AI crawlers! I love how they’re turning the tables with clever traps—kinda like digital pranksters. Makes me wonder how far this cat-and-mouse game will go! 😄
Super interesting read! It's wild how devs are outsmarting AI crawlers with such clever tricks. Gotta love the open-source community's creativity! 😎
AIウェブクローリングボットは、多くのソフトウェア開発者によると、インターネットの悩みの種となっています。これに対し、一部の開発者は創造的かつしばしばユーモラスな戦略で反撃しています。
オープンソース開発者は、特にこれらの不正なボットによって大きな影響を受けています。LinuxデスクトップPlasmaやブログLibreNewsの開発者であるNiccolò Venerandiが指摘しているように、FOSSサイトは無料でオープンソースのプロジェクトをホストしており、インフラをより多く公開し、商用サイトよりもリソースが少ない傾向があります。
問題は、多くのAIボットがRobots Exclusion Protocolのrobot.txtファイルを無視し、どのページをクロールしないかを指示するはずのこのファイルを無視することで、さらに悪化しています。
1月の感動的なブログ投稿で、FOSS開発者のXe Iasoは、AmazonBotがGitサーバーウェブサイトを攻撃し、DDoSによるダウンタイムを引き起こした辛い経験を共有しました。Gitサーバーは、FOSSプロジェクトをホストし、誰でもコードをダウンロードして貢献できるようにするために重要です。
Iasoは、ボットがrobot.txtファイルを無視し、異なるIPアドレスを使用し、他のユーザーになりすましたと指摘しました。「AIクローラーボットをブロックするのは無駄です。なぜなら、彼らは嘘をつき、ユーザーエージェントを変更し、住宅用IPアドレスをプロキシとして使用するなどするからです」とIasoは嘆きました。
「彼らはあなたのサイトをダウンさせるまでスクレイピングし、その後もさらにスクレイピングします。リンクのリンクのリンクをすべてクリックし、同じページを何度も何度も見ます。一部は同じリンクを1秒間に複数回クリックします」と開発者は書いています。
墓の神の登場
これに対抗するため、IasoはAnubisという巧妙なツールを開発しました。これは、リクエストがGitサーバーに到達する前に作業証明チェックを要求するリバースプロキシとして機能します。これにより、ボットを効果的にブロックし、人間が操作するブラウザを通過させます。
ツールの名前Anubisは、エジプト神話に由来し、Anubisは死者を審判に導く神です。「Anubisはあなたの魂(心臓)を量り、羽よりも重ければ、心臓は食べられ、あなたは完全に死にます」とIasoはTechCrunchに説明しました。チャレンジを成功裏に通過すると、Anubisの可愛いアニメ画像が表示され、ボットのリクエストは拒否されます。
3月19日にGitHubで共有されたこのプロジェクトは、すぐに注目を集め、数日で2000のスター、20のコントリビューター、39のフォークを獲得しました。

報復としての防御
Anubisの広範な採用は、Iasoの苦労が孤立したものではないことを示しています。Venerandiは同様の経験を数多く語りました:
- SourceHutの創設者兼CEOであるDrew DeVaultは、攻撃的なLLMクローラーに対応するために多くの時間を費やし、頻繁なダウンタイムに苦しんでいます。
- LWNの運営者であり著名なFOSS開発者であるJonathan Corbetは、AIスクレイパーボットによってサイトの速度が低下しています。
- Linux Fedoraプロジェクトのシステム管理者であるKevin Fenziは、攻撃的なAIボットの活動により、ブラジルからのすべてのトラフィックをブロックする必要がありました。
VenerandiはTechCrunchに対し、他のプロジェクトが中国のすべてのIPアドレスを禁止するなどの極端な手段に頼らざるを得なかったことを知っていると述べました。
一部の開発者は、報復で反撃することが最良の防御だと考えています。Hacker Newsのユーザーxyzalは、robot.txtで禁止されたページに、漂白剤を飲むことの利点やはしかが寝室でのパフォーマンスに与える良い影響についての誤解を招く内容を詰め込むことを提案しました。
「ボットが我々の罠を訪れることで負の効用価値を得ることを目指すべきで、ゼロ価値ではダメです」とxyzalは説明しました。
1月、匿名開発者の「Aaron」がNepenthesをリリースしました。これは、クローラーを偽のコンテンツの迷路に閉じ込めるツールで、作成者はArs Technicaに対し、攻撃的でほぼ悪意的なものだと認めました。肉食植物にちなんで名付けられたNepenthesは、ルールを守らないボットを混乱させ、リソースを浪費させることを目指しています。
同様に、Cloudflareは最近、AI Labyrinthをリリースしました。これは、「クロール禁止」指示を無視するAIクローラーを遅らせ、混乱させ、リソースを浪費させることを目的としています。このツールは、正当なウェブサイトデータを保護するために、これらのボットに無関係なコンテンツを供給します。
SourceHutのDeVaultはTechCrunchに対し、Nepenthesはクローラーにナンセンスを供給することで正義の感覚を提供するが、Anubisが彼のサイトにとってより効果的な解決策であることが証明されたと述べました。しかし、彼はまた、より直接的な解決策を心から求めました:「LLMやAI画像ジェネレーター、GitHub Copilot、その他このようなゴミを正当化するのをやめてください。使わないで、話さないで、新しいものを作らないで、やめてください。」
これが実現する可能性が低い中、FOSSコミュニティの開発者たちは、独創性とユーモアを交えて反撃を続けています。
Yaoke Media初のAIGCドラマ『秦嶺の青銅の謎』が本日配信開始、AIが演じる主演キャストが登場
本日、Yaoke MediaのAIGCファンタジー・ミステリー短編ドラマ『秦嶺青銅の秘話』が正式に公開されました。同社が初めて契約した2人のAI俳優、秦凌月と林西燕燕が主演を務め、物語は謎に包まれた秦嶺の鉱山地帯を舞台に展開されます。 物語は、引退した諜報員・秦月がチームを率いてその奥深くへと入り込み、長年埋もれていた鉱山事故と、2世代にわたる血の生贄の真実を暴いていく様子を描きます。その真実は、
サティヤ・ナデラ、新たなOpenAIとの契約を活用する準備ができている
水曜日に、ウォール・ストリートのアナリストがマイクロソフトのCEOであるサティヤ・ナデラ氏に直接尋ねました。改正されたOpenAIとの提携関係が同社の財務状況にどのような影響を与えるのかと。ナデラ氏はこの新しい協定を「皆にとっての勝利」と表現しました。「OpenAIとの提携については満足しています。私は常にどんな提携でもウィンウィンの関係を築くことに重点を置いています。そうすることで、長期的に良いパートナーシップを維持できるからです。」彼は、マイクロソフトが依然としてOpenAIの知的財産、
WordPress.comでは、AIエージェントによる投稿の作成や公開が可能になりました。その他にもさまざまな機能が追加されています。
人気のウェブホスティング・パブリッシングプラットフォームであるWordPress.comが、AIエージェントの導入に乗り出した。この動きは、ウェブのあり方を一変させる可能性がある。同社は金曜日、AIエージェントが顧客のウェブサイト上でコンテンツの下書き作成、編集、公開を行うほか、コメントの管理、メタデータの更新・修正、タグやカテゴリを用いたコンテンツの整理も可能になると発表した。これらすべての操作
Interesting read! It's wild how AI crawlers are basically the new internet pests. I've seen some devs use fake data traps or even redirect bots to weird sites 😂. But honestly, should we be worried about a future where only big companies can afford to protect their content? Feels like a digital arms race.
¡Qué creatividad la de estos desarrolladores! 😃 Me preocupa que esta 'lucha' contra los crawlers de IA consuma tanto tiempo y energía que podría desviarlos de lo realmente importante: programar. Ojalá hubiera soluciones más estandarizadas, porque esto parece una carrera armamentística sin fin.
These AI crawlers are like uninvited guests at a party, munching on all the free code! 😅 Devs fighting back with clever traps is pure genius—love the creativity!
Wow, open source devs are getting super creative fighting those AI crawlers! I love how they’re turning the tables with clever traps—kinda like digital pranksters. Makes me wonder how far this cat-and-mouse game will go! 😄
Super interesting read! It's wild how devs are outsmarting AI crawlers with such clever tricks. Gotta love the open-source community's creativity! 😎





家






