Cloudflareのポリシーにより、AI企業はコンテンツの提供元に使用料を支払わざるを得なくなっている。

CloudflareはAI業界に新たな期限を設定し、Google Searchのような従来型検索エンジンで使用されるウェブクローラーと、AIエージェントやトレーニング用に設計されたクローラーを分離することを義務付けている。同社は水曜日に発表したところによると、2026年9月15日以降、Cloudflareのデフォルト設定により、広告が表示されるすべてのページで「複合用途」のクローラーのアクセスがブロックされるという。
つまり、検索機能、エージェント機能、およびトレーニング機能を兼ね備えたクローラーは、サイト運営者が手動で設定を変更しない限り、デフォルトでこれらのサイトへのアクセスがブロックされることになる。同社によれば、この変更は新規のCloudflare顧客、既存顧客が新たに設置するサイト、そしてすべての現行無料プラン利用者に適用される。
この動きは、AIモデル提供企業がトレーニングやエージェントベースのサービス提供のためにウェブコンテンツにアクセスする方法に影響を与える可能性がある。
Cloudflareは、ほとんどのウェブサイト運営者が自社のコンテンツが検索結果やAIサービスを通じても見つかることを望みつつ、同時に知的財産が無償で流出するのを防ぐための対策も求めていると指摘している。
Cloudflareは特に「世界最大の検索エンジン」(明らかにGoogleを指す)が、他のAI企業よりも約2倍多くの情報にアクセスできている点を挙げており、これは同検索大手が顧客がAI利用されないまま検索結果に載ることを困難にしているためだと説明している。
Googleは以前、この一概化に反論し、Google Extendedというボットを提供しており、サイト運営者が自社のコンテンツがトレーニングやGemini Apps、Vertex APIといったAI製品で使用されることを拒否できるようにしていると述べていた。このオプトアウト機能の利用は、サイトがGoogle Searchに掲載されることには影響しない。しかし、Googleの主力ボットであるGooglebotは依然として検索用にクローリングを行っており、AI OverviewsやAI ModeといったAI関連機能も含まれている。
Cloudflareの共同創業者兼CEOであるMatthew Princeは発表文の中で、「現在、インターネット上のトラフィックの大部分が人間ではないため、持続可能なエコシステムが形成されるよう、さらに一歩進んで迅速に対応しなければならない」と述べ、最近ボットのトラフィックが初めて人間のトラフィックを上回ったという節目に言及した。この変化は当初来年まで起こると予想されていなかった。
Princeは、「Cloudflareの新しいツールやパートナーシップにより、ウェブサイト運営者はより高い可視性と商業的機会を得られ、明確で透明な目的を持つボットを保有するAI企業も恩恵を受ける。私たちが提案するデフォルト設定の変更によって、複合用途のクローラーが検索機能とエージェント利用・トレーニング機能を分離するよう促したい」と語った。
Cloudflareはユーザーが独自のAIシステムを構築するためのさまざまな製品を提供しているほか、AI時代において出版社が自社コンテンツをより厳格に管理できるよう多くのツールも公開している。近年、同社はAIボット対策のためのツールとして、ウェブサイトがクローリング行為に対して料金を請求できるマーケットプレイス「Pay Per Crawl」を導入した。
同社によれば、この仕組みは現在「Pay Per Use」という形へと進化しており、コンテンツが取得されただけでなく、価値を生み出した場合にも出版社がAI企業に料金を請求できるようになる。
また、Cloudflareのデータによると、AIクローラーによるクローリングトラフィックの50%以上が変更されていないページの再取得に費やされているため、この変更は出版社の帯域幅やコンピューティングリソースをAIモデル提供企業向けに節約するのにも役立つ可能性がある。
これを実現するため、Cloudflareは当初Ceramic.aiおよびYou.comという2社のパートナーと協力している。出版社が参加すると、そのコンテンツがCeramicのAI検索結果に表示されたり、You.comがプレミアムコンテンツにアクセスしたりした際に報酬が支払われる。
Cloudflareによると、他のAI企業も自社の運用方法に合わせてこのモデルをカスタマイズできるという。
関連記事
GoogleのAI概要記事が検索結果で存在感を増している
Similarwebの「2026年生成AIの現状」レポートによると、米国の検索の43%でGoogleのAI生成要約が表示されており、これは前年の15%から大幅に増加した。「AI Overviews」は通常の検索結果内に生成された要約を表示するのに対し、「AI Mode」は複雑なクエリや追問に対応する対話型インターフェースを提供する。ユーザーは、最初の検索の文脈を失うことなく、「AI Overvie
Google、SpaceXに月9億2000万ドルの計算リソース料金を支払う
SpaceXは、歴史的なIPOに先立ち、もう一つの主要な計算契約を確保し、今回はGoogleと提携した。同社は金曜日の規制提出書類でこの提携を明らかにした。契約書によると、Googleは2026年10月から2029年6月にかけて、毎月9億2000万ドルを支払うことで、「約11万個のNVIDIA GPU、CPU、メモリ、およびその他の関連コンポーネント」へのアクセス権を得る。この提携は、SpaceXが5月末に発表したAnthropicとの契約の規模と期間を反映している。同契約の下、Anthro
Google、AIモードを拡張し、航空券価格の追跡やホテル予約に対応
Googleは木曜日、会話型検索インターフェース「AIモード」に新機能を導入し、ユーザーがより効果的に旅行の計画と予約を行えるようにしたと発表した。更新された機能により、ユーザーはフライトの価格動向を問い合わせたり、宿泊施設を予約したり、ツール内でポイントやマイルでのコストを確認したりすることが可能になった。これらの強化は、GoogleがAIモードを包括的なAI旅行アシスタントとして位置づけ、単なる情報提供から旅行計画と予約の一部を積極的に管理する段階へ移行する戦略を示している。ユーザーはAIモ
関連特集おすすめ
コメント (0)
0/500

CloudflareはAI業界に新たな期限を設定し、Google Searchのような従来型検索エンジンで使用されるウェブクローラーと、AIエージェントやトレーニング用に設計されたクローラーを分離することを義務付けている。同社は水曜日に発表したところによると、2026年9月15日以降、Cloudflareのデフォルト設定により、広告が表示されるすべてのページで「複合用途」のクローラーのアクセスがブロックされるという。
つまり、検索機能、エージェント機能、およびトレーニング機能を兼ね備えたクローラーは、サイト運営者が手動で設定を変更しない限り、デフォルトでこれらのサイトへのアクセスがブロックされることになる。同社によれば、この変更は新規のCloudflare顧客、既存顧客が新たに設置するサイト、そしてすべての現行無料プラン利用者に適用される。
この動きは、AIモデル提供企業がトレーニングやエージェントベースのサービス提供のためにウェブコンテンツにアクセスする方法に影響を与える可能性がある。
Cloudflareは、ほとんどのウェブサイト運営者が自社のコンテンツが検索結果やAIサービスを通じても見つかることを望みつつ、同時に知的財産が無償で流出するのを防ぐための対策も求めていると指摘している。
Cloudflareは特に「世界最大の検索エンジン」(明らかにGoogleを指す)が、他のAI企業よりも約2倍多くの情報にアクセスできている点を挙げており、これは同検索大手が顧客がAI利用されないまま検索結果に載ることを困難にしているためだと説明している。
Googleは以前、この一概化に反論し、Google Extendedというボットを提供しており、サイト運営者が自社のコンテンツがトレーニングやGemini Apps、Vertex APIといったAI製品で使用されることを拒否できるようにしていると述べていた。このオプトアウト機能の利用は、サイトがGoogle Searchに掲載されることには影響しない。しかし、Googleの主力ボットであるGooglebotは依然として検索用にクローリングを行っており、AI OverviewsやAI ModeといったAI関連機能も含まれている。
Cloudflareの共同創業者兼CEOであるMatthew Princeは発表文の中で、「現在、インターネット上のトラフィックの大部分が人間ではないため、持続可能なエコシステムが形成されるよう、さらに一歩進んで迅速に対応しなければならない」と述べ、最近ボットのトラフィックが初めて人間のトラフィックを上回ったという節目に言及した。この変化は当初来年まで起こると予想されていなかった。
Princeは、「Cloudflareの新しいツールやパートナーシップにより、ウェブサイト運営者はより高い可視性と商業的機会を得られ、明確で透明な目的を持つボットを保有するAI企業も恩恵を受ける。私たちが提案するデフォルト設定の変更によって、複合用途のクローラーが検索機能とエージェント利用・トレーニング機能を分離するよう促したい」と語った。
Cloudflareはユーザーが独自のAIシステムを構築するためのさまざまな製品を提供しているほか、AI時代において出版社が自社コンテンツをより厳格に管理できるよう多くのツールも公開している。近年、同社はAIボット対策のためのツールとして、ウェブサイトがクローリング行為に対して料金を請求できるマーケットプレイス「Pay Per Crawl」を導入した。
同社によれば、この仕組みは現在「Pay Per Use」という形へと進化しており、コンテンツが取得されただけでなく、価値を生み出した場合にも出版社がAI企業に料金を請求できるようになる。
また、Cloudflareのデータによると、AIクローラーによるクローリングトラフィックの50%以上が変更されていないページの再取得に費やされているため、この変更は出版社の帯域幅やコンピューティングリソースをAIモデル提供企業向けに節約するのにも役立つ可能性がある。
これを実現するため、Cloudflareは当初Ceramic.aiおよびYou.comという2社のパートナーと協力している。出版社が参加すると、そのコンテンツがCeramicのAI検索結果に表示されたり、You.comがプレミアムコンテンツにアクセスしたりした際に報酬が支払われる。
Cloudflareによると、他のAI企業も自社の運用方法に合わせてこのモデルをカスタマイズできるという。
GoogleのAI概要記事が検索結果で存在感を増している
Similarwebの「2026年生成AIの現状」レポートによると、米国の検索の43%でGoogleのAI生成要約が表示されており、これは前年の15%から大幅に増加した。「AI Overviews」は通常の検索結果内に生成された要約を表示するのに対し、「AI Mode」は複雑なクエリや追問に対応する対話型インターフェースを提供する。ユーザーは、最初の検索の文脈を失うことなく、「AI Overvie
Google、SpaceXに月9億2000万ドルの計算リソース料金を支払う
SpaceXは、歴史的なIPOに先立ち、もう一つの主要な計算契約を確保し、今回はGoogleと提携した。同社は金曜日の規制提出書類でこの提携を明らかにした。契約書によると、Googleは2026年10月から2029年6月にかけて、毎月9億2000万ドルを支払うことで、「約11万個のNVIDIA GPU、CPU、メモリ、およびその他の関連コンポーネント」へのアクセス権を得る。この提携は、SpaceXが5月末に発表したAnthropicとの契約の規模と期間を反映している。同契約の下、Anthro
Google、AIモードを拡張し、航空券価格の追跡やホテル予約に対応
Googleは木曜日、会話型検索インターフェース「AIモード」に新機能を導入し、ユーザーがより効果的に旅行の計画と予約を行えるようにしたと発表した。更新された機能により、ユーザーはフライトの価格動向を問い合わせたり、宿泊施設を予約したり、ツール内でポイントやマイルでのコストを確認したりすることが可能になった。これらの強化は、GoogleがAIモードを包括的なAI旅行アシスタントとして位置づけ、単なる情報提供から旅行計画と予約の一部を積極的に管理する段階へ移行する戦略を示している。ユーザーはAIモ





家






