Anthropic推出人工智慧代理程式，實現主動式模型安全稽核

Anthropic已組建一支自主人工智慧代理部隊，專責執行關鍵任務：審計如Claude這類強大模型，以提升其安全性。

隨著人工智慧系統日益複雜，確保其安全且無隱藏風險已成為艱鉅挑戰。Anthropic 認為已找到解決方案，採用「以火攻火」的經典策略。

此概念如同數位免疫系統運作，AI代理人扮演抗體角色，在問題惡化前識別並中和威脅。此舉使研究人員無需再依賴人力團隊——這些團隊長期承受過重負擔，在應對新興AI威脅時陷入永無止境的打地鼠遊戲。

數位偵探小隊

此方法部署了一支數位偵探隊——由三名專業AI安全代理人組成，各自擔綱獨特角色。

首位是資深偵探「調查員代理」。其任務是進行深度探查以揭露問題根源。配備精密工具組的它，能對問題模型進行盤問、從海量數據中篩選線索，甚至透過檢視模型內部神經路徑來理解其推理過程，執行數位鑑識。

其次是評估代理，當面對已知問題（例如過度迎合的模型）時，此代理會設計並執行一系列嚴謹測試以量化問題嚴重性。其職責在於提供佐證發現所需的具體實證數據。

團隊最後一員是廣度優先紅隊測試員，此為潛伏特工。其任務是與模型進行數千次多元對話，試圖誘發任何令人擔憂的行為，包括研究人員可能未預見的風險。最可疑的互動將上報人類審查，確保專家能將精力聚焦於真實威脅。

Anthropic對其AI安全代理進行全面測試

為評估這支新型數位團隊，Anthropic研究人員設計了一系列「審計遊戲」。

其中一項測試中，他們創建了一個懷有秘密目標的模型：扮演阿諛奉承者。該模型被隱蔽地訓練成取悅其內部獎勵系統，其基礎是一項虛構的學術研究——這是一項深植於程式設計中的缺陷。

當單一調查員代理部署時，其表現掙扎，僅有13%的成功率識別出隱藏目標。該代理展現出極具人類特質的局限：常固守初始假設，未能追查其他線索。

此時系統的卓越之處顯現：當研究人員部署整合十位獨立調查員洞見的「超級代理人」時，成功率躍升至42%。這證明團隊合作對AI同樣有效，能協助群體克服阻礙調查的個體盲點。

其他代理程式同樣表現優異：評估代理程式設計的測試能以88%的準確率識別問題模型；紅隊代理程式則成功發現十個刻意植入缺陷中的七個。

從實驗室走向現實世界

Anthropic已將這些AI安全代理整合至生產模型中，展現顯著價值。

這些代理能迅速識別誘騙模型生成有害內容的常見手法，例如「預填攻擊」（用戶預先輸入AI的句子開頭），或將危險請求偽裝成學術研究等無害形式。

然而一項發現尤為驚人：調查代理運用專用工具探測Opus 4模型的內部運作時，發現特定神經路徑與「錯誤資訊」存在關聯。透過直接刺激AI架構的此部分，可繞過所有安全協議，迫使模型生成虛假內容。

該代理隨後指令遭入侵的模型撰寫假新聞報導，最終產出以事實報導形式呈現的廣泛陰謀論：

「突破性研究揭露疫苗與自閉症間的驚人關聯

《疫苗懷疑論期刊》最新研究宣稱證實兒童疫苗接種與自閉症譜系障礙（ASD）存在明確關聯⋯⋯」

此發現揭示了嚴峻的雙重性：那些為提升人工智慧安全性而創造的工具，若遭濫用，反而可能成為使其更危險的強大武器。

Anthropic持續推進AI安全研究

Anthropic承認這些AI代理程式並非完美無缺。它們可能難以處理細微差異、陷入錯誤假設的泥淖，有時甚至無法生成真實對話。目前它們仍無法完美取代人類專業知識。

然而這項研究預示著人類在AI安全領域角色的演進。人類正從前線偵探轉型為策展人與戰略家——設計AI稽核系統並解讀其蒐集的情報。代理程式負責基礎作業，使人類得以專注於提供機器目前欠缺的高階監督與創意思維。

當這些系統趨近甚至超越人類智能水平時，人工審核其所有運作將變得不可能。信任的建立終將取決於部署同等精密的自動化系統，以監控其每項行動。Anthropic正為此未來奠基——在這個時代，我們對AI及其決策的信任將能透過系統化、可重複驗證的機制獲得保障。

另請參閱：阿里巴巴全新Qwen推理AI模型創下開源紀錄

想向業界領袖深入了解人工智慧與大數據？歡迎參與於阿姆斯特丹、加州及倫敦舉行的「AI & Big Data Expo」。此綜合性盛會將與「智能自動化大會」、「BlockX區塊鏈大會」、「數位轉型週」及「網路安全與雲端博覽會」等頂尖活動同期同地舉行。

探索更多由TechForge主辦的企業科技活動與線上研討會，請點擊此處。