Cloudflare 更新了其爬虫规则,将某些机器人标记为“搜索 AI 代理”或“模型训练”。自 2026 年 9 月 15 日起,在依赖广告支持的网站上,AI 代理和训练爬虫将默认被屏蔽。如果混合型爬虫的任何用途违反网站政策,也将被屏蔽。 全新的仪表盘可适应 AEO 页面变更监控,从而减少重复请求;基于使用量的计费模式则允许网站所有者对 AI 内容爬取行为收取费用。
评论 (0)
0/300





首页
