AI機器人刮擦您的數據？這種免費工具使那些討厭的爬行者逐步劃定

人工智能生成內容的興起，常被稱為合成媒體，帶來了多項挑戰，包括錯誤資訊的傳播、藝術家作品的未授權使用，以及線上內容信任度的下降。然而，Cloudflare 可能已找到人工智能的一項有益應用，旨在保護原始內容免受人工智能公司的濫用。

週三，Cloudflare 推出了 AI Labyrinth，一款設計用於利用人工智能生成內容來「減緩、混淆並浪費未授權人工智能爬蟲資源」的工具。

近期研究顯示，人工智能聊天機器人，如 ChatGPT 和 Perplexity，持續從已封鎖其爬蟲的網站存取內容。Cloudflare 在其公告中強調，這些爬蟲每天對其網絡產生超過 500 億次請求，佔其觀察到的所有網絡請求的不到 1%。封鎖這些爬蟲的方法至關重要。

Cloudflare 解釋說，雖然他們擁有多种工具來識別和封鎖未授權的人工智能爬蟲，但簡單地封鎖這些機器人可能會警告攻擊者，導致持續的規避策略。他們希望設計一種新方法來阻止這些不受歡迎的機器人，而不讓它們察覺已被檢測到。

當 Cloudflare 檢測到未授權的爬蟲請求時，AI Labyrinth 不僅僅是封鎖爬蟲，而是連結到多個人工智能生成的網頁，這些網頁看似真實，足以欺騙爬蟲認為它們是合法的。這樣，爬蟲誤以為已成功抓取所需內容，而網站的真實數據則保持安全。此外，這種方法還會消耗爬蟲的計算資源，Cloudflare 認為這是一項優勢。

Cloudflare 的公告詳細說明，該工具在檢測到不當機器人活動時，會自動部署一組人工智能生成的連結頁面，無需客戶設置自訂規則。

為了創建這些頁面，Cloudflare 使用了 Workers AI 和開源模型，提前生成關於各種主題的獨特、類似人類的合成頁面。此預生成管道不僅對內容進行清理以防止 XSS 漏洞，還將其儲存在 R2 中以便更快存取。

AI Labyrinth 僅向人工智能爬蟲顯示這些連結，確保內容對人類訪客隱藏，且不會影響網站的結構、外觀或 SEO。

Cloudflare 強調其承諾不助長錯誤資訊的傳播，確保生成的內容基於事實且與科學主題相關，但與被爬取的網站無關。

此外，Cloudflare 將 AI Labyrinth 視為識別新非法爬蟲的潛在誘捕器。他們指出，真正的人類訪客不太可能瀏覽「人工智能生成的無意義迷宮」，這使該工具能根據點擊模式檢測新機器人。此洞察將幫助 AI Labyrinth 更有效地識別惡意行為者。

隨著機器人越來越擅長檢測傳統誘捕技術，Cloudflare 計劃讓 AI Labyrinth 進化，創建更真實的連結 URL 網絡，使自動化程序更難識別。

對於擔心其內容被用於訓練人工智能或被聊天機器人誤傳的出版商或個人，AI Labyrinth 可能是一個有價值的工具。

所有 Cloudflare 客戶，包括免費層級用戶，今日即可通過訪問 Cloudflare 儀表板，導航至機器人管理部分，並開啟 AI Labyrinth 選項來啟用該工具。

[ttpp]