Cloudflare 指责 Perplexity 使用人工智能机器人秘密抓取被封网站

人工智能初创公司被指规避网站限制

Cloudflare 最近的调查称，人工智能搜索公司 Perplexity 一直在使用绕过网站所有者实施的抓取限制的策略。这家互联网基础设施提供商报告称，他们观察到 Perplexity 的网络爬虫在遇到访问障碍时试图进行系统性伪装。

规避策略

根据 Cloudflare 的调查结果，Perplexity 的爬虫最初会显示标准标识（"PerplexityBot "或 "Perplexity-User"）。但是，当通过

• robots.txt 指令
• 网络应用程序防火墙规则
• 其他访问限制

据称，该系统会在 macOS 上将其身份转换为普通的 Chrome 浏览器用户，并利用以下手段掩盖身份：

• 轮换未正式列出的 IP 地址
• 更改自治系统网络标识符
• 未记录的用户代理模式

活动规模

Cloudflare 记录了以下行为

• 数以万计的域名
• 每天数百万次请求
• 各种网络配置

公司回应

Perplexity 的官方声明质疑 Cloudflare 的描述，称其为：

• 宣传噱头
• 包含 "许多误解
• 有可能混淆合法用户流量和搜索活动

该初创公司将一些检测到的活动归因于

• 发出特定请求的实际用户
• 第三方服务 BrowserBase
• 偶尔的技术需要

行业背景

此事件发生在

• 之前关于 Perplexity 绕过付费墙的报道
• 该公司过去对第三方爬虫的归因
• 行业对人工智能内容搜刮的担忧与日俱增

Cloudflare 已采取以下措施

• 取消 Perplexity 的验证机器人身份
• 实施新的阻止措施
• 扩大默认的人工智能爬虫限制

这种情况反映了以下两方面更广泛的紧张关系

• 人工智能公司的数据需求
• 发布者的权利和保护
• 不断发展的互联网基础设施应对措施