Cloudflare、AIボットを使用してブロックされたウェブサイトを秘密裏にクロールしているとしてPerplexityを非難

AIスタートアップ、ウェブサイト制限の回避で訴えられる

Cloudflareの最近の調査によると、AI検索企業のPerplexityは、ウェブサイト所有者が実施するクロール制限を回避するための戦術を採用しているとのことです。インターネットインフラストラクチャプロバイダーは、アクセス制限に遭遇した際、Perplexityのウェブクローラーを偽装する組織的な試みを観察したと報告しています。

回避の手口

Cloudflareの調査結果によると、Perplexityのクローラは当初、標準的な識別情報（"PerplexityBot "または "Perplexity-User"）を表示しています。しかし

• robots.txt ディレクティブ
• ウェブアプリケーションファイアウォールルール
• その他のアクセス制限

を利用して、macOS上の通常のChromeブラウザのユーザーとしてのアイデンティティを隠すように切り替えたとされている：

• 公式にリストされていないIPアドレスのローテーション
• 自律システムネットワーク識別子の変更
• 文書化されていないユーザーエージェントパターン

活動の規模

Cloudflareはこの動作を以下の規模で記録しています：

• 数万ドメイン
• 1日あたり数百万のリクエスト
• さまざまなネットワーク構成

企業の対応

Perplexityの公式声明は、Cloudflareの説明に対して次のように反論している：

• "売名行為"
• 多くの誤解」を含む
• 正当なユーザートラフィックとスクレイピング活動を混同する可能性

同スタートアップは、検出されたアクティビティを以下のように説明している：

• 特定のリクエストを行った実際のユーザー
• サードパーティのサービスBrowserBase
• 時折発生する技術的な必要性

業界の背景

この事件は次のようなものである：

• Perplexityがペイウォールを回避したという過去の報告
• サードパーティのクローラーに起因する同社の過去の報告
• AIによるコンテンツスクレイピングに対する業界の懸念の高まり

Cloudflareは以下の措置をとりました：

• Perplexityの検証済みボットステータスの削除
• 新たなブロッキング対策の導入
• デフォルトのAIクローラーの制限を拡大

この状況は、以下のような幅広い緊張関係を反映している：

• AI企業のデータニーズ
• パブリッシャーの権利と保護
• 進化するインターネット・インフラへの対応