オープンソース開発者は、創意工夫と報復でAIクローラーと戦う

多くのソフトウェア開発者によると、AI Web-Crawlingボットはインターネットの悩みの種になりました。これに応じて、一部の開発者は、創造的でしばしば面白い戦略と反撃することに取り組んできました。

LinuxデスクトッププラズマとブログLibrenewsの背後にある開発者であるNiccolòVenerandiが指摘しているように、オープンソース開発者はこれらの不正なボットに特に激しく打撃を受けます。無料およびオープンソースプロジェクトをホストするFossサイトは、より多くのインフラストラクチャを公開し、一般的に商用サイトよりもリソースが少ないです。

多くのAIボットがロボット除外プロトコルのrobot.txtファイルを無視しているため、問題は悪化しています。

1月の感動的なブログ投稿で、Foss開発者のXe IasoはAmazonbotと悲惨な経験を共有しました。AmazonbotはGitサーバーのWebサイトを攻撃し、DDOSの停止を引き起こしました。 GITサーバーは、FOSSプロジェクトをホストするために重要であり、誰でもダウンロードしてコードに貢献できるようになります。

IASOは、BOTがRobot.txtファイルを無視し、異なるIPアドレスを使用し、さらには他のユーザーとして装ったことさえあると指摘しました。 「AI Crawlerボットをブロックするのは無駄です。なぜなら、彼らは嘘をつき、ユーザーエージェントを変更し、住宅のIPアドレスをプロキシとして使用するなどです」とIasoは嘆きました。

「彼らはそれが倒れるまであなたのサイトをこすります、そして、彼らはそれをもう少し削ります。彼らはすべてのリンクのすべてのリンクのすべてのリンクをクリックし、同じページを何度も何度も見ます。

墓の神に入りましょう

これと戦うために、IasoはAnubisという巧妙なツールを開発しました。 gitサーバーに到達することを許可する前に、仕事の証明チェックを必要とする逆プロキシとして機能します。これにより、ヒト操作のブラウザが通過できるようにしながら、ボットを効果的にブロックします。

ツールの名前であるアヌビスは、エジプトの神話から引き出されています。そこでは、アヌビスは死者を裁きに導く神です。 「アヌビスはあなたの魂（心）の重さを量りました。もしそれが羽よりも重いなら、あなたの心は食べられ、あなたはメガが死んだように」とイアソはTechCrunchに説明しました。ボットのリクエストは拒否されている間、アヌビスのかわいいアニメ写真で挑戦を成功裏に渡すことは祝われます。

このプロジェクトは、3月19日にGitHubで共有され、すぐに牽引力を獲得し、わずか数日で2,000星、20人の貢献者、39のフォークを獲得しました。

防衛としての復ge

Anubisの広範な採用は、Iasoの闘争が孤立していないことを示しています。 Venerandiは、多くの同様の経験を語りました。

• SourceHutの創設者兼CEOであるDrew Devaultは、積極的なLLMクローラーに対処するために時間のかなりの部分を費やし、頻繁に停止します。
• LWNの著名なFOSS開発者でありオペレーターであるJonathan Corbetは、AIスクレーパーボットによって彼のサイトが遅くなっているのを見てきました。
• Linux FedoraプロジェクトのSysadminであるKevin Fenziは、積極的なAIボット活動のためにブラジルからのすべてのトラフィックをブロックする必要がありました。

VenerandiはTechCrunchに、中国のすべてのIPアドレスを禁止するなど、極端な措置に頼らなければならなかった他のプロジェクトを知っていると述べました。

一部の開発者は、復geとの戦いが最良の防御であると信じています。 Hacker NewsのXyzalという名前のユーザーは、lobot.txtを埋めることを提案しました。

「ゼロ値だけでなく、トラップにアクセスして_negative_ユーティリティ値を取得するためにボットを目指す必要があると思います」とXyzal氏は説明しました。

1月、「アーロン」という名前の匿名の開発者が、偽のコンテンツの迷路でクローラーを閉じ込めるように設計されたツールであるネペンチェスをリリースしました。肉食植物にちなんで名付けられたネペンテスは、誤動作のリソースを混乱させ、無駄にすることを目指しています。

同様に、CloudFlareは最近、「クロールなし」の指示を無視するAIクロール担当者のリソースを減速、混乱させ、無駄にすることを目的としたAI Labyrinthを発売しました。このツールは、これらのボットに無関係なコンテンツをフィードして、正当なWebサイトデータを保護します。

SourcehutのDevaultはTechCrunchに、NepenthesはNonsenseをCrawlersに与えて正義感を提供するが、Anubisは彼のサイトにとってより効果的な解決策であることが証明されていると語った。しかし、彼はまた、より直接的な解決策のために心からの嘆願をしました：「LLMSまたはAIイメージジェネレーターまたはGitHubの副操縦士またはこのゴミの正当化を停止してください。

これが起こる可能性が低いことを考えると、開発者、特にFossコミュニティの開発者は、創意工夫とたくさんのユーモアで反撃し続けています。