Cloudflare、新しい一括ブロックルールでAIクローラーを標的に

Cloudflareは、デフォルトのサービスルールに大幅な更新を適用し、業界全体のAI企業に対し、9月15日までにこれに対応するよう求めています。 すべてのAIベンダーは、検索クローラー、モデルトレーニング用クローラー、およびAIエージェント専用のクローラーを区別することが義務付けられました。これらを区別できない混合クローラーは、広告を含むページにアクセスしようとした際に、システムによって自動的にブロックされます。
新しいルールの適用範囲は広く、新規プラットフォーム顧客、新規サイトを作成する既存ユーザー、およびすべての無料ユーザーサイトに等しく適用されます。ウェブサイト管理者が混合クローラーを許可したい場合、唯一の選択肢はバックエンドの設定を手動で調整することですが、この変更は、AI企業がトレーニング用資料としてウェブコンテンツを収集する方法に直接影響を及ぼします。
多くのサイト管理者は、従来の検索エンジンによるコンテンツのインデックス登録を快く許可していますが、自身の知的財産が対価なしに収集され、トレーニングに使用されることは望んでいません。 Cloudflareは、Googleのクローラーが検索とAIデータ収集の両方の目的を果たしているため、ウェブサイトが検索インデックス登録を許可しつつAIトレーニングをブロックすることは困難であると指摘している。これに対し、Googleは、検索インデックス登録に影響を与えることなくAIトレーニングへのアクセスをブロックできる専用のロボットツールを導入した。
しかし、Googleの主要なクローラーは、検索エンジンに組み込まれたAI機能のためのデータ収集を継続するため、検索とAIのデータ要件を完全に分離することは困難です。同社のCEOは、ロボットによるトラフィックが人間の訪問数をはるかに上回っている現状に言及し、業界のエコシステムとして、さまざまなクローリング行動を早急に規制する必要があると指摘しました。
Cloudflareはコンテンツ保護ツールの改善を続けており、2024年のAIクローラー対策ツールから、新たな価値ベースの課金モデルへと進化しています。以前はクローリング量に基づいて課金していましたが、現在は従量課金方式を採用し、AIアプリケーションにおいてコンテンツが実際に生み出す収益に応じて料金を算出しています。 データによると、AIクローラーの半数以上が更新されていないページを繰り返しスクレイピングしており、この課金メカニズムにより、無効なトラフィックを削減しつつ、クリエイターの収入を増やすことが可能となる。
現在の課金プランはすでに2社のAI企業で試験導入されており、サイト管理者は自社のコンテンツがAI製品で使用された際に直接収益を得ることが可能となっています。著作権規制が強化される中、この新しいルールにより、AI企業はクローリング活動の透明性を高めることが求められ、ウェブクリエイターは自身のコンテンツをより適切に管理できるようになります。
関連記事
Qwen3.5-Max PreviewがLMArenaでトップに立ち、中国のAIモデルが世界の最前列に到達
3月20日、権威ある大規模モデル盲検プラットフォームLMArenaの最新ランキングが公開され、アリババのQwenシリーズにおける最新フラッグシッププレビューモデルQwen3.5-Max-Previewが卓越したパフォーマンスを示したことが明らかになった。スコアは1464点で、トップクラスの位置を確保した。この成果は、国内モデルの過去の記録を塗り替えるだけでなく、GPT5.4、Claude4.5、Grok4.1といった主要な海外モデルを複数の次元で上回るものであった。このマイルストーンは、中国の独
Marc Benioffが支援するスタートアップ、AI導入の課題解決を目指す
大企業は信頼性の高いAIツールの導入において極めて厳しい課題に直面しており、そのギャップを埋めるために、顧客企業に組み込まれてAIシステムの運用化を担当する専門家の「フォワード・デプロイされたエンジニア」チームが台頭している。「皮肉なことに、AIはプロフェッショナルサービスへの需要を増大させています」と、先月月曜にステルスモードを解除した新会社「June」の創業者で元セールスフォース執行役員のエフラット・ラポポートは指摘する。「業界のAI統合に対する解決策は、単により多くの人材を採用することで
アリビデオ、Wan3.0を発表:超長編動画の生成と多次元の一貫性を実現
8月24日、アリババは最新の動画生成大規模モデル「Wan3.0」を発表しました。このリリースはアリババの動画技術における大きな飛躍を表しており、動画の長さ、汎用的な作成能力、参照画像の扱い、そして現実的な世界シミュレーションにおいて顕著な改善をもたらしました。Wan3.0は、単一の動画生成を最大30秒まで延長し、1つのショット内でより豊かな物語の可能性を提供します。また、doc、xls、ppt、pdf、mdなど主要なファイル形式のサポートを導入し、テキスト、表、スライドを動的な視覚コンテンツに直
関連特集おすすめ
コメント (0)
0/500

Cloudflareは、デフォルトのサービスルールに大幅な更新を適用し、業界全体のAI企業に対し、9月15日までにこれに対応するよう求めています。 すべてのAIベンダーは、検索クローラー、モデルトレーニング用クローラー、およびAIエージェント専用のクローラーを区別することが義務付けられました。これらを区別できない混合クローラーは、広告を含むページにアクセスしようとした際に、システムによって自動的にブロックされます。
新しいルールの適用範囲は広く、新規プラットフォーム顧客、新規サイトを作成する既存ユーザー、およびすべての無料ユーザーサイトに等しく適用されます。ウェブサイト管理者が混合クローラーを許可したい場合、唯一の選択肢はバックエンドの設定を手動で調整することですが、この変更は、AI企業がトレーニング用資料としてウェブコンテンツを収集する方法に直接影響を及ぼします。
多くのサイト管理者は、従来の検索エンジンによるコンテンツのインデックス登録を快く許可していますが、自身の知的財産が対価なしに収集され、トレーニングに使用されることは望んでいません。 Cloudflareは、Googleのクローラーが検索とAIデータ収集の両方の目的を果たしているため、ウェブサイトが検索インデックス登録を許可しつつAIトレーニングをブロックすることは困難であると指摘している。これに対し、Googleは、検索インデックス登録に影響を与えることなくAIトレーニングへのアクセスをブロックできる専用のロボットツールを導入した。
しかし、Googleの主要なクローラーは、検索エンジンに組み込まれたAI機能のためのデータ収集を継続するため、検索とAIのデータ要件を完全に分離することは困難です。同社のCEOは、ロボットによるトラフィックが人間の訪問数をはるかに上回っている現状に言及し、業界のエコシステムとして、さまざまなクローリング行動を早急に規制する必要があると指摘しました。
Cloudflareはコンテンツ保護ツールの改善を続けており、2024年のAIクローラー対策ツールから、新たな価値ベースの課金モデルへと進化しています。以前はクローリング量に基づいて課金していましたが、現在は従量課金方式を採用し、AIアプリケーションにおいてコンテンツが実際に生み出す収益に応じて料金を算出しています。 データによると、AIクローラーの半数以上が更新されていないページを繰り返しスクレイピングしており、この課金メカニズムにより、無効なトラフィックを削減しつつ、クリエイターの収入を増やすことが可能となる。
現在の課金プランはすでに2社のAI企業で試験導入されており、サイト管理者は自社のコンテンツがAI製品で使用された際に直接収益を得ることが可能となっています。著作権規制が強化される中、この新しいルールにより、AI企業はクローリング活動の透明性を高めることが求められ、ウェブクリエイターは自身のコンテンツをより適切に管理できるようになります。
Qwen3.5-Max PreviewがLMArenaでトップに立ち、中国のAIモデルが世界の最前列に到達
3月20日、権威ある大規模モデル盲検プラットフォームLMArenaの最新ランキングが公開され、アリババのQwenシリーズにおける最新フラッグシッププレビューモデルQwen3.5-Max-Previewが卓越したパフォーマンスを示したことが明らかになった。スコアは1464点で、トップクラスの位置を確保した。この成果は、国内モデルの過去の記録を塗り替えるだけでなく、GPT5.4、Claude4.5、Grok4.1といった主要な海外モデルを複数の次元で上回るものであった。このマイルストーンは、中国の独
Marc Benioffが支援するスタートアップ、AI導入の課題解決を目指す
大企業は信頼性の高いAIツールの導入において極めて厳しい課題に直面しており、そのギャップを埋めるために、顧客企業に組み込まれてAIシステムの運用化を担当する専門家の「フォワード・デプロイされたエンジニア」チームが台頭している。「皮肉なことに、AIはプロフェッショナルサービスへの需要を増大させています」と、先月月曜にステルスモードを解除した新会社「June」の創業者で元セールスフォース執行役員のエフラット・ラポポートは指摘する。「業界のAI統合に対する解決策は、単により多くの人材を採用することで
アリビデオ、Wan3.0を発表:超長編動画の生成と多次元の一貫性を実現
8月24日、アリババは最新の動画生成大規模モデル「Wan3.0」を発表しました。このリリースはアリババの動画技術における大きな飛躍を表しており、動画の長さ、汎用的な作成能力、参照画像の扱い、そして現実的な世界シミュレーションにおいて顕著な改善をもたらしました。Wan3.0は、単一の動画生成を最大30秒まで延長し、1つのショット内でより豊かな物語の可能性を提供します。また、doc、xls、ppt、pdf、mdなど主要なファイル形式のサポートを導入し、テキスト、表、スライドを動的な視覚コンテンツに直





家






