オープンソース開発者は、創意工夫と報復でAIクローラーと戦う

AIウェブクローリングボットは、多くのソフトウェア開発者によると、インターネットの悩みの種となっています。これに対し、一部の開発者は創造的かつしばしばユーモラスな戦略で反撃しています。

オープンソース開発者は、特にこれらの不正なボットによって大きな影響を受けています。LinuxデスクトップPlasmaやブログLibreNewsの開発者であるNiccolò Venerandiが指摘しているように、FOSSサイトは無料でオープンソースのプロジェクトをホストしており、インフラをより多く公開し、商用サイトよりもリソースが少ない傾向があります。

問題は、多くのAIボットがRobots Exclusion Protocolのrobot.txtファイルを無視し、どのページをクロールしないかを指示するはずのこのファイルを無視することで、さらに悪化しています。

1月の感動的なブログ投稿で、FOSS開発者のXe Iasoは、AmazonBotがGitサーバーウェブサイトを攻撃し、DDoSによるダウンタイムを引き起こした辛い経験を共有しました。Gitサーバーは、FOSSプロジェクトをホストし、誰でもコードをダウンロードして貢献できるようにするために重要です。

Iasoは、ボットがrobot.txtファイルを無視し、異なるIPアドレスを使用し、他のユーザーになりすましたと指摘しました。「AIクローラーボットをブロックするのは無駄です。なぜなら、彼らは嘘をつき、ユーザーエージェントを変更し、住宅用IPアドレスをプロキシとして使用するなどするからです」とIasoは嘆きました。

「彼らはあなたのサイトをダウンさせるまでスクレイピングし、その後もさらにスクレイピングします。リンクのリンクのリンクをすべてクリックし、同じページを何度も何度も見ます。一部は同じリンクを1秒間に複数回クリックします」と開発者は書いています。

墓の神の登場

これに対抗するため、IasoはAnubisという巧妙なツールを開発しました。これは、リクエストがGitサーバーに到達する前に作業証明チェックを要求するリバースプロキシとして機能します。これにより、ボットを効果的にブロックし、人間が操作するブラウザを通過させます。

ツールの名前Anubisは、エジプト神話に由来し、Anubisは死者を審判に導く神です。「Anubisはあなたの魂（心臓）を量り、羽よりも重ければ、心臓は食べられ、あなたは完全に死にます」とIasoはTechCrunchに説明しました。チャレンジを成功裏に通過すると、Anubisの可愛いアニメ画像が表示され、ボットのリクエストは拒否されます。

3月19日にGitHubで共有されたこのプロジェクトは、すぐに注目を集め、数日で2000のスター、20のコントリビューター、39のフォークを獲得しました。

報復としての防御

Anubisの広範な採用は、Iasoの苦労が孤立したものではないことを示しています。Venerandiは同様の経験を数多く語りました：

• SourceHutの創設者兼CEOであるDrew DeVaultは、攻撃的なLLMクローラーに対応するために多くの時間を費やし、頻繁なダウンタイムに苦しんでいます。
• LWNの運営者であり著名なFOSS開発者であるJonathan Corbetは、AIスクレイパーボットによってサイトの速度が低下しています。
• Linux Fedoraプロジェクトのシステム管理者であるKevin Fenziは、攻撃的なAIボットの活動により、ブラジルからのすべてのトラフィックをブロックする必要がありました。

VenerandiはTechCrunchに対し、他のプロジェクトが中国のすべてのIPアドレスを禁止するなどの極端な手段に頼らざるを得なかったことを知っていると述べました。

一部の開発者は、報復で反撃することが最良の防御だと考えています。Hacker Newsのユーザーxyzalは、robot.txtで禁止されたページに、漂白剤を飲むことの利点やはしかが寝室でのパフォーマンスに与える良い影響についての誤解を招く内容を詰め込むことを提案しました。

「ボットが我々の罠を訪れることで負の効用価値を得ることを目指すべきで、ゼロ価値ではダメです」とxyzalは説明しました。

1月、匿名開発者の「Aaron」がNepenthesをリリースしました。これは、クローラーを偽のコンテンツの迷路に閉じ込めるツールで、作成者はArs Technicaに対し、攻撃的でほぼ悪意的なものだと認めました。肉食植物にちなんで名付けられたNepenthesは、ルールを守らないボットを混乱させ、リソースを浪費させることを目指しています。

同様に、Cloudflareは最近、AI Labyrinthをリリースしました。これは、「クロール禁止」指示を無視するAIクローラーを遅らせ、混乱させ、リソースを浪費させることを目的としています。このツールは、正当なウェブサイトデータを保護するために、これらのボットに無関係なコンテンツを供給します。

SourceHutのDeVaultはTechCrunchに対し、Nepenthesはクローラーにナンセンスを供給することで正義の感覚を提供するが、Anubisが彼のサイトにとってより効果的な解決策であることが証明されたと述べました。しかし、彼はまた、より直接的な解決策を心から求めました：「LLMやAI画像ジェネレーター、GitHub Copilot、その他このようなゴミを正当化するのをやめてください。使わないで、話さないで、新しいものを作らないで、やめてください。」

これが実現する可能性が低い中、FOSSコミュニティの開発者たちは、独創性とユーモアを交えて反撃を続けています。