Cloudflare 指責 Perplexity 使用人工智能機器人秘密抓取被封鎖的網站

AI 創業公司被指控繞過網站限制

Cloudflare 最近的調查指出，AI 搜尋公司 Perplexity 一直在使用繞過網站擁有者實施的爬行限制的策略。互聯網基礎設施供應商報告說，他們觀察到 Perplexity 的網路爬行器在遇到存取障礙時，有系統地試圖進行偽裝。

規避策略

根據 Cloudflare 的發現，Perplexity 的爬蟲最初會顯示標準識別（"PerplexityBot 「或 」Perplexity-User"）。但是，當通過

• robots.txt 指令
• Web 應用程式防火牆規則
• 其他存取限制

系統據稱會改為在 macOS 上將其身份掩飾為一般 Chrome 瀏覽器使用者，利用

• 輪流使用未正式列出的 IP 位址
• 變更自治系統網路識別碼
• 未記錄的使用者代理模式

活動規模

Cloudflare 記錄此行為跨越

• 數以萬計的網域
• 數百萬的每日請求
• 各種網路配置

公司回應

Perplexity 的官方聲明反駁 Cloudflare 的定性，將其描述為

• 一個 "宣傳噱頭
• 包含 "許多誤解
• 有可能混淆合法的用戶流量和刮擦活動

該初創公司將某些偵測到的活動歸咎於

• 提出特定請求的實際使用者
• 第三方服務 BrowserBase
• 偶爾的技術需要

行業背景

此事件發生在

• 先前有關 Perplexity 繞過付費牆的報告
• 該公司過去對第三方爬蟲的歸咎
• 業界對 AI 內容搜刮的日益關注

Cloudflare 已採取以下行動

• 刪除 Perplexity 的驗證機器人身份
• 實施新的封鎖措施
• 擴大預設的 AI 爬蟲限制

這種情況反映了以下兩者之間更廣泛的緊張關係

• AI 公司的資料需求
• 發行者的權利和保護
• 不斷演進的網際網路基礎建設回應