Cloudflare 推出新的批量封鎖規則,鎖定混合型 AI 爬蟲

Cloudflare 已針對其預設服務規則推出重大更新,並給予全產業的 AI 企業至 9 月 15 日為止的期限以符合規範。 所有 AI 供應商現須區分搜尋爬蟲、模型訓練爬蟲及 AI 代理專用爬蟲。任何未能明確區分自身類型的混合爬蟲,在嘗試存取包含廣告的網頁時,將被系統自動封鎖。
新規則的適用範圍廣泛,無論是新平台客戶、建立新網站的現有用戶,還是所有免費用戶的網站,均一視同仁。若網站管理員希望允許混合型爬蟲,唯一的方法是手動調整後端設定——此項變更將直接影響 AI 公司收集網路內容作為訓練資料的方式。
許多網站管理員樂於允許傳統搜尋引擎索引其內容,但不希望自己的智慧財產權被無償採集並用於訓練。 Cloudflare 指出,Google 的爬蟲同時兼具搜尋與 AI 資料蒐集雙重目的,這使得網站難以在允許搜尋索引的同時,又阻擋 AI 訓練。為此,Google 推出了一款專用的機器人工具,讓網站能在不影響搜尋索引的情況下,阻擋 AI 訓練的存取權限。
然而,Google 的核心爬蟲仍會持續為搜尋引擎的內建 AI 功能蒐集資料,使得搜尋與 AI 資料需求難以完全區隔。該平台執行長指出,機器人流量早已超越人類造訪量,產業生態系亟需規範各種爬蟲行為。
Cloudflare 持續優化其內容保護工具,從 2024 年的反 AI 爬蟲工具演進至全新的價值導向計費模式。此前,該平台依據爬取量收費,但現在已採用按使用量付費的方式,根據內容在 AI 應用中產生的實際收益來計算費用。 數據顯示,超過半數的 AI 爬蟲反覆抓取尚未更新的頁面,而此付費機制不僅能減少無效流量,還能提升創作者的收入。
現行收費方案已與兩家 AI 公司進行測試,使網站管理員能在其內容被 AI 產品使用時直接獲得收益。在版權法規日益嚴格的環境下,新規定迫使 AI 公司提高其爬取活動的透明度,讓網路創作者能對其內容擁有更大的控制權。
相關文章
MacWhisper 14 更新新增直接編輯文字稿功能,並修正了 CPU 使用率過高的問題
MacWhisper 的獨立開發者 Jodi Bruijn 昨日發布了 14.0 版,此版本著重於提升轉錄效能,並新增了專用的編輯視圖。 自 2023 年推出以來,MacWhisper 已確立其作為 macOS 平台 AI 驅動轉錄工具的地位,支援在本地執行 OpenAI 的 Whisper 及 NVIDIA 的 Parakeet 等模型。它能直接處理音訊、影片、會議錄音及系統音訊,使其成為播客製
Qwen3.5-Max Preview 登頂 LMArena,中國 AI 模型躋身全球前列
3月20日,權威大模型盲測平臺 LMArena 釋出的最新排行榜顯示,阿里巴巴在 Qwen 系列中的最新旗艦預覽模型 Qwen3.5-Max-Preview 表現卓越。該模型得分 1464 分,穩居頂級梯隊。這一成就不僅打破了國內模型的既往紀錄,更在多個維度上超越了 GPT5.4、Claude4.5 和 Grok4.1 等海外領先模型。這一里程碑標誌著中國自主研發的大模型在通用能力上正式躋身全球第一梯隊,終結了少數海外科技巨頭壟斷最高層級的時代。在這些盲測中,Qwen3.5-Max-Previe
由馬克·貝尼奧夫支援的初創公司旨在解決人工智慧部署挑戰
大型企業在部署可靠的人工智慧工具時面臨如此嚴峻的挑戰,以至於整個前沿部署工程師團隊——這些嵌入在客戶公司內部以將人工智慧系統投入運營的專業人員——正在湧現,以彌合這一差距。“矛盾的是,人工智慧推高了專業服務的需求,”前 Salesforce 高管、新成立的 June 公司創始人 Efrat Rapoport 週一宣佈該公司結束秘密運營狀態時指出。“行業解決人工智慧整合問題的方法只是僱傭越來越多的人。”Rapoport 與她的三位聯合創始人——Ohad Hen、Barak Goldstein
相關專題推薦
評論 (0)
0/500

Cloudflare 已針對其預設服務規則推出重大更新,並給予全產業的 AI 企業至 9 月 15 日為止的期限以符合規範。 所有 AI 供應商現須區分搜尋爬蟲、模型訓練爬蟲及 AI 代理專用爬蟲。任何未能明確區分自身類型的混合爬蟲,在嘗試存取包含廣告的網頁時,將被系統自動封鎖。
新規則的適用範圍廣泛,無論是新平台客戶、建立新網站的現有用戶,還是所有免費用戶的網站,均一視同仁。若網站管理員希望允許混合型爬蟲,唯一的方法是手動調整後端設定——此項變更將直接影響 AI 公司收集網路內容作為訓練資料的方式。
許多網站管理員樂於允許傳統搜尋引擎索引其內容,但不希望自己的智慧財產權被無償採集並用於訓練。 Cloudflare 指出,Google 的爬蟲同時兼具搜尋與 AI 資料蒐集雙重目的,這使得網站難以在允許搜尋索引的同時,又阻擋 AI 訓練。為此,Google 推出了一款專用的機器人工具,讓網站能在不影響搜尋索引的情況下,阻擋 AI 訓練的存取權限。
然而,Google 的核心爬蟲仍會持續為搜尋引擎的內建 AI 功能蒐集資料,使得搜尋與 AI 資料需求難以完全區隔。該平台執行長指出,機器人流量早已超越人類造訪量,產業生態系亟需規範各種爬蟲行為。
Cloudflare 持續優化其內容保護工具,從 2024 年的反 AI 爬蟲工具演進至全新的價值導向計費模式。此前,該平台依據爬取量收費,但現在已採用按使用量付費的方式,根據內容在 AI 應用中產生的實際收益來計算費用。 數據顯示,超過半數的 AI 爬蟲反覆抓取尚未更新的頁面,而此付費機制不僅能減少無效流量,還能提升創作者的收入。
現行收費方案已與兩家 AI 公司進行測試,使網站管理員能在其內容被 AI 產品使用時直接獲得收益。在版權法規日益嚴格的環境下,新規定迫使 AI 公司提高其爬取活動的透明度,讓網路創作者能對其內容擁有更大的控制權。
MacWhisper 14 更新新增直接編輯文字稿功能,並修正了 CPU 使用率過高的問題
MacWhisper 的獨立開發者 Jodi Bruijn 昨日發布了 14.0 版,此版本著重於提升轉錄效能,並新增了專用的編輯視圖。 自 2023 年推出以來,MacWhisper 已確立其作為 macOS 平台 AI 驅動轉錄工具的地位,支援在本地執行 OpenAI 的 Whisper 及 NVIDIA 的 Parakeet 等模型。它能直接處理音訊、影片、會議錄音及系統音訊,使其成為播客製
Qwen3.5-Max Preview 登頂 LMArena,中國 AI 模型躋身全球前列
3月20日,權威大模型盲測平臺 LMArena 釋出的最新排行榜顯示,阿里巴巴在 Qwen 系列中的最新旗艦預覽模型 Qwen3.5-Max-Preview 表現卓越。該模型得分 1464 分,穩居頂級梯隊。這一成就不僅打破了國內模型的既往紀錄,更在多個維度上超越了 GPT5.4、Claude4.5 和 Grok4.1 等海外領先模型。這一里程碑標誌著中國自主研發的大模型在通用能力上正式躋身全球第一梯隊,終結了少數海外科技巨頭壟斷最高層級的時代。在這些盲測中,Qwen3.5-Max-Previe
由馬克·貝尼奧夫支援的初創公司旨在解決人工智慧部署挑戰
大型企業在部署可靠的人工智慧工具時面臨如此嚴峻的挑戰,以至於整個前沿部署工程師團隊——這些嵌入在客戶公司內部以將人工智慧系統投入運營的專業人員——正在湧現,以彌合這一差距。“矛盾的是,人工智慧推高了專業服務的需求,”前 Salesforce 高管、新成立的 June 公司創始人 Efrat Rapoport 週一宣佈該公司結束秘密運營狀態時指出。“行業解決人工智慧整合問題的方法只是僱傭越來越多的人。”Rapoport 與她的三位聯合創始人——Ohad Hen、Barak Goldstein





首頁






