Cloudflare 推出新的批量屏蔽规则,针对混合型 AI 爬虫

Cloudflare 已对其默认服务规则进行了重大更新,要求全行业的人工智能公司须在 9 月 15 日之前完成合规。 所有 AI 供应商现在都必须区分搜索爬虫、模型训练爬虫以及 AI 代理专用爬虫。任何无法进行自我区分的混合爬虫,在尝试访问包含广告的页面时,都将被系统自动拦截。
新规则的适用范围广泛,对新平台客户、创建新网站的现有用户以及所有免费用户网站均一视同仁。若网站管理员希望允许混合爬虫访问,唯一的选择是手动调整后端配置——这一变更将直接影响人工智能公司收集网络内容用于训练材料的方式。
许多网站管理员乐于允许传统搜索引擎对内容进行索引,但不希望自己的知识产权被无偿采集并用于训练。 Cloudflare 指出,谷歌的爬虫同时服务于搜索和 AI 数据采集两大目的,这使得网站在允许搜索索引的同时屏蔽 AI 训练变得颇具挑战。为此,谷歌推出了一款专用的机器人工具,允许网站在不影响搜索索引的情况下阻止 AI 训练访问。
然而,谷歌的核心爬虫仍将继续为搜索引擎内置的AI功能收集数据,这使得搜索与AI数据需求难以完全分离。该平台首席执行官指出,机器人流量早已超过人类访问量,行业生态系统亟需对各类爬取行为进行规范。
Cloudflare 正在持续改进其内容保护工具,从 2024 年的反 AI 爬虫工具演进为一种基于价值的新计费模式。此前,该平台按爬取量收费,但现在已采用按使用量付费的方式,根据内容在 AI 应用中产生的实际收入来计算费用。 数据显示,超过半数的AI爬虫反复抓取未更新的页面,而这种支付机制既能减少无效流量,又能增加创作者的收入。
当前的付费方案已与两家人工智能公司进行了测试,当网站管理员的内容被人工智能产品使用时,他们可直接获得收益。在版权法规日益收紧的背景下,新规迫使人工智能公司提高其抓取活动的透明度,使网络内容创作者能够更好地掌控自己的内容。
相关文章
ChatGPT 获得重大升级,可精确克隆个人写作风格
AI 正从通用工具演变为真正理解您需求的个性化办公伙伴。专为企业和专业环境打造的 ChatGPT Work 最近进行了重大功能升级。其最突出的功能是可以深入分析并准确复制用户独特的写作语气,大幅降低内容创作和编辑成本。多维特征提取与隐私安全保障具体而言,更新后的 ChatGPT Work 与主流办公平台无缝集成。在获得用户授权后,系统扫描并分析相关账户中的历史数据,以提取独特的语言习惯、表达模式和词汇偏好。为了在效率与隐私之间取得平衡,该功能采用了先进的多层神经网络。系统在处理数据时不存储
Google AI Overview 推出热门新闻轮播,在摘要中嵌入实时突发新闻
2026年6月29日,Google 向部分用户推出了一项重要的搜索界面更新,在“AI 概览”模块中直接引入了“头条新闻”轮播功能。SEO 专家 Lily Ray 首先在 X 平台上发现了这一功能,这标志着 Google 在处理时效性查询方面的战略转变。此次更新旨在将静态的 AI 生成摘要与成熟媒体的实时报道相结合,确保用户在突发新闻事件中能够获取准确且不断更新的事实信息。此前,用户必须滚动经过大型的 AI 模块才能找到传统的新闻链接,这引发了业界关于 AI 分流出版商流量的担忧。新的设计在搜索结
如何针对谷歌日本和雅虎日本优化SEO
作为一名独立内容创作者,我经常需要处理来自各种在线来源的旧档案素材、用户生成视频片段以及压缩后的辅助镜头,而应对画质下降的问题一直让我头疼不已。 事实上,Wyzowl 最近的一份报告指出,89% 的视频营销人员认为视频能带来良好的投资回报率,这意味着观众对视频质量的期望比以往任何时候都更高。当你试图吸引观众注意力时,颗粒感强、像素化的画面已经无法满足需求了。最近,我决定测试AI Photo Gen
相关专题推荐
评论 (0)
0/500

Cloudflare 已对其默认服务规则进行了重大更新,要求全行业的人工智能公司须在 9 月 15 日之前完成合规。 所有 AI 供应商现在都必须区分搜索爬虫、模型训练爬虫以及 AI 代理专用爬虫。任何无法进行自我区分的混合爬虫,在尝试访问包含广告的页面时,都将被系统自动拦截。
新规则的适用范围广泛,对新平台客户、创建新网站的现有用户以及所有免费用户网站均一视同仁。若网站管理员希望允许混合爬虫访问,唯一的选择是手动调整后端配置——这一变更将直接影响人工智能公司收集网络内容用于训练材料的方式。
许多网站管理员乐于允许传统搜索引擎对内容进行索引,但不希望自己的知识产权被无偿采集并用于训练。 Cloudflare 指出,谷歌的爬虫同时服务于搜索和 AI 数据采集两大目的,这使得网站在允许搜索索引的同时屏蔽 AI 训练变得颇具挑战。为此,谷歌推出了一款专用的机器人工具,允许网站在不影响搜索索引的情况下阻止 AI 训练访问。
然而,谷歌的核心爬虫仍将继续为搜索引擎内置的AI功能收集数据,这使得搜索与AI数据需求难以完全分离。该平台首席执行官指出,机器人流量早已超过人类访问量,行业生态系统亟需对各类爬取行为进行规范。
Cloudflare 正在持续改进其内容保护工具,从 2024 年的反 AI 爬虫工具演进为一种基于价值的新计费模式。此前,该平台按爬取量收费,但现在已采用按使用量付费的方式,根据内容在 AI 应用中产生的实际收入来计算费用。 数据显示,超过半数的AI爬虫反复抓取未更新的页面,而这种支付机制既能减少无效流量,又能增加创作者的收入。
当前的付费方案已与两家人工智能公司进行了测试,当网站管理员的内容被人工智能产品使用时,他们可直接获得收益。在版权法规日益收紧的背景下,新规迫使人工智能公司提高其抓取活动的透明度,使网络内容创作者能够更好地掌控自己的内容。
ChatGPT 获得重大升级,可精确克隆个人写作风格
AI 正从通用工具演变为真正理解您需求的个性化办公伙伴。专为企业和专业环境打造的 ChatGPT Work 最近进行了重大功能升级。其最突出的功能是可以深入分析并准确复制用户独特的写作语气,大幅降低内容创作和编辑成本。多维特征提取与隐私安全保障具体而言,更新后的 ChatGPT Work 与主流办公平台无缝集成。在获得用户授权后,系统扫描并分析相关账户中的历史数据,以提取独特的语言习惯、表达模式和词汇偏好。为了在效率与隐私之间取得平衡,该功能采用了先进的多层神经网络。系统在处理数据时不存储
Google AI Overview 推出热门新闻轮播,在摘要中嵌入实时突发新闻
2026年6月29日,Google 向部分用户推出了一项重要的搜索界面更新,在“AI 概览”模块中直接引入了“头条新闻”轮播功能。SEO 专家 Lily Ray 首先在 X 平台上发现了这一功能,这标志着 Google 在处理时效性查询方面的战略转变。此次更新旨在将静态的 AI 生成摘要与成熟媒体的实时报道相结合,确保用户在突发新闻事件中能够获取准确且不断更新的事实信息。此前,用户必须滚动经过大型的 AI 模块才能找到传统的新闻链接,这引发了业界关于 AI 分流出版商流量的担忧。新的设计在搜索结
如何针对谷歌日本和雅虎日本优化SEO
作为一名独立内容创作者,我经常需要处理来自各种在线来源的旧档案素材、用户生成视频片段以及压缩后的辅助镜头,而应对画质下降的问题一直让我头疼不已。 事实上,Wyzowl 最近的一份报告指出,89% 的视频营销人员认为视频能带来良好的投资回报率,这意味着观众对视频质量的期望比以往任何时候都更高。当你试图吸引观众注意力时,颗粒感强、像素化的画面已经无法满足需求了。最近,我决定测试AI Photo Gen





首页






