AIボットはあなたのデータを削っていますか？この無料のツールは、これらの厄介なクローラーにランアラウンドを与えます

AI生成コンテンツの台頭は、しばしば合成メディアと呼ばれ、誤情報の拡散、アーティストの作品の無断使用、オンラインコンテンツへの信頼の低下など、いくつかの課題をもたらしています。しかし、CloudflareはAIの有益な応用を見つけ、AI企業によるオリジナルコンテンツの悪用を防ぐことを目指しています。

水曜日に、CloudflareはAI Labyrinthというツールを導入しました。このツールは、AI生成コンテンツを使用して、許可されていないAIクローラーの「速度を落とし、混乱させ、リソースを浪費する」ことを目的としています。

最近の研究では、ChatGPTやPerplexityなどのAIチャットボットが、クローラーをブロックしているウェブサイトからコンテンツにアクセスし続けていることが示されています。Cloudflareは発表の中で、これらのクローラーが毎日500億以上のリクエストをネットワークに送信しており、彼らが観察するすべてのウェブリクエストの約1%を占めていると強調しました。これらのクローラーをブロックする方法は非常に重要です。

Cloudflareは、許可されていないAIクローリングを特定してブロックする複数のツールを持っていると説明しましたが、単にこれらのボットをブロックすると攻撃者に警告を与え、回避戦術の継続的なサイクルにつながると述べました。彼らは、検出されたことを知らせずにこれらの不要なボットを阻止する新しい方法を考案したかったのです。

Cloudflareが許可されていないクローリングリクエストを検出すると、AI Labyrinthはクローラーを単にブロックするのではなく、クローラーが本物だと信じるほど十分に本物に見えるAI生成ウェブページにリンクします。これにより、クローラーは望むコンテンツを正常にスクレイピングしたと誤解し、サイトの実際のデータは保護されたままになります。さらに、このアプローチはクローラーの計算リソースを消費し、Cloudflareはこれを利点と見なしています。

Cloudflareの発表では、このツールは不適切なボットの活動を検出すると、自動的にAI生成のリンクされたページのセットを展開し、顧客がカスタムルールを設定する必要がないと詳しく説明しました。

これらのページを作成するために、CloudflareはWorkers AIとオープンソースモデルを利用して、さまざまなトピックについてユニークで人間らしい合成ページを事前に生成しました。この事前生成パイプラインは、XSSの脆弱性を防ぐためにコンテンツを浄化するだけでなく、R2に保存して迅速なアクセスを可能にします。

AI Labyrinthは、AIスクレイパーにのみこれらのリンクを表示し、コンテンツが人間の訪問者には隠され、サイトの構造、外観、SEOに影響を与えないようにします。

Cloudflareは、誤情報の拡散に貢献しないというコミットメントを強調し、生成されたコンテンツが事実に基づき、科学的トピックに関連しているが、クロールされているサイトには無関係であることを保証しました。

さらに、CloudflareはAI Labyrinthを新しい不正なクローラーを特定するための潜在的なハニーポットと見なしています。彼らは、本物の人間の訪問者が「AI生成のナンセンスの迷路」をナビゲートする可能性は低いと指摘し、このツールがクリックパターンに基づいて新しいボットを検出できるようにすると述べました。この洞察は、AI Labyrinthが悪意のある行為者をより効果的に特定するのに役立ちます。

ボットが従来のハニーポット技術を検出する能力を高めているため、CloudflareはAI Labyrinthを進化させ、自動プログラムが識別しにくい、より現実的なリンクされたURLのネットワークを作成する計画です。

コンテンツがAIのトレーニングに使用されたり、チャットボットによって誤って表現されたりすることに懸念を抱くパブリッシャーや個人にとって、AI Labyrinthは貴重なツールとなる可能性があります。

すべてのCloudflareの顧客、無料プランを含む顧客は、Cloudflareダッシュボードにアクセスし、ボット管理セクションに移動してAI Labyrinthオプションをオンにすることで、今日からAI Labyrinthを有効にできます。

[ttpp]