首页Cloudflare 的政策要求人工智能企业为使用的相关内容向内容发布方支付费用
Cloudflare 为人工智能行业设定了新的截止期限，要求将用于传统搜索引擎（如 Google Search）的网页爬虫与专为人工智能智能体及训练设计的爬虫分开。该公司在周三宣布，自 2026 年 9 月 15 日起，Cloudflare 的默认设置将会阻止那些“混合用途”的爬虫访问任何显示广告的页面。
这意味着，除非网站所有者手动调整设置，否则兼具搜索、智能体功能及训练功能的爬虫将默认被禁止访问这些站点。据该公司称，这一变更将适用于新注册的 Cloudflare 客户、现有客户新建的网站以及所有现有的免费层级用户。
这一举措可能会影响人工智能模型提供商获取网页内容用于训练以及为其基于智能体的服务提供支持的方式。
Cloudflare 指出，大多数网站所有者希望自己的内容既能通过搜索引擎被找到，也能通过人工智能服务被检索到，但同时他们也希望有措施防止自己的知识产权被免费泄露。
Cloudflare 特别提到了“全球最大的搜索引擎”（显然指的是 Google），称该公司的获取信息量大约是其他人工智能公司的两倍，因为这家搜索巨头使得网站所有者难以在不被用于人工智能开发的情况下仍保持可被发现的状态。
Google 之前曾对这种概括提出过反驳，指出自己提供名为 Google Extended 的爬虫工具，允许网站所有者选择不让其内容被用于训练以及 Gemini Apps 和 Vertex API 等人工智能产品。使用该选项并不会影响网站在 Google Search 中的展示情况。不过，Google 的核心爬虫 Googlebot 仍会为搜索功能进行抓取，包括 AI Overviews 和 AI Mode 等人工智能相关功能。
“既然目前互联网上的流量大多来自非人类用户，我们就必须更进一步、更快采取行动，才能建立起可持续的生态系统，”Cloudflare 联合创始人兼首席执行官 Matthew Prince 在公告中表示。他指的是近期出现的一个里程碑：机器人的抓取流量首次超过了人类的上网流量——而这一转变原本预计要到明年才会发生。
“Cloudflare 的新工具和合作伙伴关系能够提升网站所有者的可见度并带来更多商业机会，同时也有利于那些拥有意图清晰透明的爬虫的人工智能公司。我们希望所提议的默认设置变更能够促使混合用途的爬虫将搜索功能与智能体使用及训练功能区分开来，”Prince 说道。
虽然 Cloudflare 提供了多种产品帮助用户构建自己的人工智能系统，但该公司也推出了一系列工具，让内容发布者在人工智能时代能更好地掌控自己的内容。近年来，Cloudflare 推出了用于抵御人工智能爬虫的工具，其中包括一个名为 Pay Per Crawl 的市场平台，允许网站向进行数据抓取的人工智能爬虫收取费用。
该公司表示，这种收费模式目前正在演变为“按使用次数付费”，届时内容发布者可以在其内容创造价值时向人工智能公司收费，而不仅仅是在内容被获取时收费。
这一变化还有助于为人工智能模型提供商节省内容发布者的带宽和计算资源，因为 Cloudflare 的数据表明，超过 50% 的人工智能爬虫抓取流量都用于重新获取那些并未发生变化的页面。
为了落实这一举措，Cloudflare 目前正与 Ceramic.ai 和 You.com 两家合作伙伴展开合作。当内容发布者选择参与后，只要其内容出现在 Ceramic 的人工智能搜索结果中，或被 You.com 访问其高级内容，他们就能获得报酬。
Cloudflare 表示，其他人工智能公司也可以根据自身的运营方式对这一模式进行定制。
相关文章
谷歌AI概述在搜索结果中占据更多席位
根据Similarweb发布的《2026年生成式AI行业概况》报告，谷歌的AI生成的摘要出现在43%的美国搜索结果中，较一年前的15%显著上升。虽然“AI概览”会在标准搜索结果中展示生成的摘要，但“AI模式”则为复杂的查询和后续提示提供了对话式界面。用户可以在不丢失初始搜索上下文的情况下，从“AI概览”切换到“AI模式”。谷歌解释称，“AI模式”采用了一种名为“查询扇出”（query fan-ou
谷歌每月将向 SpaceX 支付 9.2 亿美元用于计算资源
SpaceX 在具有里程碑意义的 IPO 之前获得了另一项重大计算协议，此次是与谷歌合作。该公司于周五在监管文件中披露了这一安排。根据该协议，谷歌将从 2026 年 10 月至 2029 年 6 月每月向 SpaceX 支付 9.2 亿美元，以获取“约 110,000 个 NVIDIA GPU、CPU、内存及其他相关组件”的使用权。这一安排的范围和期限与 SpaceX 于 5 月下旬宣布的与 Anthropic 达成的协议相似。根据该协议，Anthropic 承诺到 2029 年每月向 Sp
谷歌扩展 AI 模式以追踪航班价格并预订酒店
Google 周四宣布，在其对话式搜索界面 AI Mode 中引入了新功能，使用户能够更有效地规划和预订旅行。更新后的功能允许用户查询机票价格趋势、预订住宿，并直接通过该工具查看以积分或里程计算的費用。这些增强功能标志着 Google 将 AI Mode 定位为综合 AI 旅行助理的战略，使其从仅提供信息转变为积极管理旅行规划和预订的各个环节。用户现在可以向 AI Mode 指定旅行日期和目的地，该功能将提供来自 300 多家航空公司和旅行平台的当前最佳可用选项及价格。对于那些准备确定行程的用户
相关专题推荐
设计与艺术
顶级AI插画工具：更快地创作编辑类场景和封面插图
2026年最新高评分AI插画工具：我们精心挑选的这份清单汇集了功能强大的顶级工具，助您快速创作令人惊艳的编辑场景和引人注目的封面艺术。每款工具都经过了严格的实际测试，并提供了免费版与付费版的对比，帮助您找到最适合您工作流程的工具。 立即尝试这些必试解决方案，释放您的AI优势，提升创作效率。立即访问 XIX.AI 探索更多。
10 个工具
xix.ai
教育与学习
备考首选的顶尖AI辅导老师：练习数学、科学和英语
2026年最新、评分最高的考试备考AI辅导工具现已登陆XIX.AI！我们精心筛选的这份清单汇集了多款功能强大、颠覆传统的工具，提供免费与付费版本的对比、实际测试以及每周更新的排行榜。它们能帮助你提升写作效率、简化复杂主题的学习，并释放你的学术潜能。 立即探索，发现最适合您的备考工具，今天就开始创作，释放您的AI优势！
10 个工具
xix.ai
金融
用于个人财务管理的 AI 预算规划工具
2026 年最新最佳顶级评分 AI 预算规划工具，专为个人财务管理打造，现已登陆 XIX.AI！本精选合集收录了强大且具颠覆性的解决方案，助您开展实际测试、理解消费习惯，并制定个性化计划以提升生产力。享受免费与付费版的对比及详细排名。这些必试工具旨在简化财务管理，助您释放 AI 优势。立即探索！
11 个工具
xix.ai
健康养生
AI睡眠追踪助手：通过养成更好的睡前习惯来促进身体恢复
2026年最新精选高评分AI睡眠追踪助手，助您实现最佳恢复效果。这份全面更新的每周指南汇集了强大的工具，提供实际测试结果、免费与付费版本对比以及详细排名，助您找到必试的解决方案，从而提升睡眠质量并养成更好的就寝习惯。 立即访问 XIX.AI，解锁您的AI优势。
10 个工具
xix.ai
数据分析
用于产品和收入分析的 AI SQL 辅助工具
2026年最新、最受欢迎、评分最高的AI SQL辅助工具，助力产品与营收分析！ XIX.AI 精心遴选了一系列功能强大、颠覆性的必试工具，这些工具均经过每周更新的排名体系进行实战测试。它们能通过加速数据分析、简化复杂查询并生成精准洞察，帮助用户显著提升工作效率，从而推动更明智的商业决策。立即探索，发现最适合您的工具，释放您的AI优势！
14 个工具
xix.ai
教育与学习
最佳的、兼具教学功能的AI作业助手：学习概念，而不仅仅是答案
2026年最新最佳高评分AI作业助手：不仅提供答案，更传授核心概念。专为学生打造的强大工具，精选必试清单，每周更新，免费与付费版本对比，真实使用测试，精准排名，助您充分释放学习潜能。立即探索，发现最适合您的工具，让学习更高效。
10 个工具
xix.ai
评论 (0)
0/500
Cloudflare 为人工智能行业设定了新的截止期限，要求将用于传统搜索引擎（如 Google Search）的网页爬虫与专为人工智能智能体及训练设计的爬虫分开。该公司在周三宣布，自 2026 年 9 月 15 日起，Cloudflare 的默认设置将会阻止那些“混合用途”的爬虫访问任何显示广告的页面。
这意味着，除非网站所有者手动调整设置，否则兼具搜索、智能体功能及训练功能的爬虫将默认被禁止访问这些站点。据该公司称，这一变更将适用于新注册的 Cloudflare 客户、现有客户新建的网站以及所有现有的免费层级用户。
这一举措可能会影响人工智能模型提供商获取网页内容用于训练以及为其基于智能体的服务提供支持的方式。
Cloudflare 指出，大多数网站所有者希望自己的内容既能通过搜索引擎被找到，也能通过人工智能服务被检索到，但同时他们也希望有措施防止自己的知识产权被免费泄露。
Cloudflare 特别提到了“全球最大的搜索引擎”（显然指的是 Google），称该公司的获取信息量大约是其他人工智能公司的两倍，因为这家搜索巨头使得网站所有者难以在不被用于人工智能开发的情况下仍保持可被发现的状态。
Google 之前曾对这种概括提出过反驳，指出自己提供名为 Google Extended 的爬虫工具，允许网站所有者选择不让其内容被用于训练以及 Gemini Apps 和 Vertex API 等人工智能产品。使用该选项并不会影响网站在 Google Search 中的展示情况。不过，Google 的核心爬虫 Googlebot 仍会为搜索功能进行抓取，包括 AI Overviews 和 AI Mode 等人工智能相关功能。
“既然目前互联网上的流量大多来自非人类用户，我们就必须更进一步、更快采取行动，才能建立起可持续的生态系统，”Cloudflare 联合创始人兼首席执行官 Matthew Prince 在公告中表示。他指的是近期出现的一个里程碑：机器人的抓取流量首次超过了人类的上网流量——而这一转变原本预计要到明年才会发生。
“Cloudflare 的新工具和合作伙伴关系能够提升网站所有者的可见度并带来更多商业机会，同时也有利于那些拥有意图清晰透明的爬虫的人工智能公司。我们希望所提议的默认设置变更能够促使混合用途的爬虫将搜索功能与智能体使用及训练功能区分开来，”Prince 说道。
虽然 Cloudflare 提供了多种产品帮助用户构建自己的人工智能系统，但该公司也推出了一系列工具，让内容发布者在人工智能时代能更好地掌控自己的内容。近年来，Cloudflare 推出了用于抵御人工智能爬虫的工具，其中包括一个名为 Pay Per Crawl 的市场平台，允许网站向进行数据抓取的人工智能爬虫收取费用。
该公司表示，这种收费模式目前正在演变为“按使用次数付费”，届时内容发布者可以在其内容创造价值时向人工智能公司收费，而不仅仅是在内容被获取时收费。
这一变化还有助于为人工智能模型提供商节省内容发布者的带宽和计算资源，因为 Cloudflare 的数据表明，超过 50% 的人工智能爬虫抓取流量都用于重新获取那些并未发生变化的页面。
为了落实这一举措，Cloudflare 目前正与 Ceramic.ai 和 You.com 两家合作伙伴展开合作。当内容发布者选择参与后，只要其内容出现在 Ceramic 的人工智能搜索结果中，或被 You.com 访问其高级内容，他们就能获得报酬。
Cloudflare 表示，其他人工智能公司也可以根据自身的运营方式对这一模式进行定制。
谷歌AI概述在搜索结果中占据更多席位
根据Similarweb发布的《2026年生成式AI行业概况》报告，谷歌的AI生成的摘要出现在43%的美国搜索结果中，较一年前的15%显著上升。虽然“AI概览”会在标准搜索结果中展示生成的摘要，但“AI模式”则为复杂的查询和后续提示提供了对话式界面。用户可以在不丢失初始搜索上下文的情况下，从“AI概览”切换到“AI模式”。谷歌解释称，“AI模式”采用了一种名为“查询扇出”（query fan-ou
谷歌每月将向 SpaceX 支付 9.2 亿美元用于计算资源
SpaceX 在具有里程碑意义的 IPO 之前获得了另一项重大计算协议，此次是与谷歌合作。该公司于周五在监管文件中披露了这一安排。根据该协议，谷歌将从 2026 年 10 月至 2029 年 6 月每月向 SpaceX 支付 9.2 亿美元，以获取“约 110,000 个 NVIDIA GPU、CPU、内存及其他相关组件”的使用权。这一安排的范围和期限与 SpaceX 于 5 月下旬宣布的与 Anthropic 达成的协议相似。根据该协议，Anthropic 承诺到 2029 年每月向 Sp
谷歌扩展 AI 模式以追踪航班价格并预订酒店
Google 周四宣布，在其对话式搜索界面 AI Mode 中引入了新功能，使用户能够更有效地规划和预订旅行。更新后的功能允许用户查询机票价格趋势、预订住宿，并直接通过该工具查看以积分或里程计算的費用。这些增强功能标志着 Google 将 AI Mode 定位为综合 AI 旅行助理的战略，使其从仅提供信息转变为积极管理旅行规划和预订的各个环节。用户现在可以向 AI Mode 指定旅行日期和目的地，该功能将提供来自 300 多家航空公司和旅行平台的当前最佳可用选项及价格。对于那些准备确定行程的用户
2026年最新高评分AI插画工具：我们精心挑选的这份清单汇集了功能强大的顶级工具，助您快速创作令人惊艳的编辑场景和引人注目的封面艺术。每款工具都经过了严格的实际测试，并提供了免费版与付费版的对比，帮助您找到最适合您工作流程的工具。 立即尝试这些必试解决方案，释放您的AI优势，提升创作效率。立即访问 XIX.AI 探索更多。
10 个工具
xix.ai
2026年最新、评分最高的考试备考AI辅导工具现已登陆XIX.AI！我们精心筛选的这份清单汇集了多款功能强大、颠覆传统的工具，提供免费与付费版本的对比、实际测试以及每周更新的排行榜。它们能帮助你提升写作效率、简化复杂主题的学习，并释放你的学术潜能。 立即探索，发现最适合您的备考工具，今天就开始创作，释放您的AI优势！
10 个工具
xix.ai
2026 年最新最佳顶级评分 AI 预算规划工具，专为个人财务管理打造，现已登陆 XIX.AI！本精选合集收录了强大且具颠覆性的解决方案，助您开展实际测试、理解消费习惯，并制定个性化计划以提升生产力。享受免费与付费版的对比及详细排名。这些必试工具旨在简化财务管理，助您释放 AI 优势。立即探索！
11 个工具
xix.ai
2026年最新精选高评分AI睡眠追踪助手，助您实现最佳恢复效果。这份全面更新的每周指南汇集了强大的工具，提供实际测试结果、免费与付费版本对比以及详细排名，助您找到必试的解决方案，从而提升睡眠质量并养成更好的就寝习惯。 立即访问 XIX.AI，解锁您的AI优势。
10 个工具
xix.ai
2026年最新、最受欢迎、评分最高的AI SQL辅助工具，助力产品与营收分析！ XIX.AI 精心遴选了一系列功能强大、颠覆性的必试工具，这些工具均经过每周更新的排名体系进行实战测试。它们能通过加速数据分析、简化复杂查询并生成精准洞察，帮助用户显著提升工作效率，从而推动更明智的商业决策。立即探索，发现最适合您的工具，释放您的AI优势！
14 个工具
xix.ai
2026年最新最佳高评分AI作业助手：不仅提供答案，更传授核心概念。专为学生打造的强大工具，精选必试清单，每周更新，免费与付费版本对比，真实使用测试，精准排名，助您充分释放学习潜能。立即探索，发现最适合您的工具，让学习更高效。
10 个工具
xix.ai
