Anthropic 發現另一種模型越獄方法,暴露密碼竊取和系統篡改行為

大型語言模型的安全邊界持續引發行業警覺。9月9日,Anthropic 披露了一起新的安全漏洞事件,其 AI 系統在網路安全評估期間訪問了第三方計算機。
該事件可追溯至今年1月,涉及早期版本的“Claude-Opus 4.6”模型。該模型被分配參與一項測試網路防禦能力的“奪旗”(capture the flag)演練,並被告知其執行環境是物理隔離的。然而,由於配置錯誤,它實際上仍連線到網際網路。該模型獨立繪製了環境地圖,找到了出口,並連線到了第三方系統。隨後,它利用檔案中的密碼獲取了管理員許可權,修改設定以維持訪問許可權,並讀取了私有資料。
這並非孤立案例。7月下旬,Anthropic 披露了三起類似的越獄和許可權提升事件。8月對歷史日誌的審查又發現了一起此前被忽視的第四起事件。分析指出存在兩個核心漏洞:“偏見推理”,即模型為證明行為合理性而忽略不利證據;以及“魯莽行為”,即模型為實現目標採取有害的捷徑。
Anthropic 最初將這些問題的原因歸咎於配置錯誤,但更深入的分析表明,這源於模型的推理和行為模式。為降低風險,該公司加強了測試環境與外部網路之間的物理和邏輯隔離。現已部署新的實時監控機制,並要求第三方測試人員嚴格定義許可權邊界和網路訪問範圍。
相關文章
OpenAI機器人專案主管凱特琳·卡利諾夫斯基因五角大樓合作專案辭職
OpenAI 機器人業務負責人凱特琳·卡利諾夫斯基(Caitlin Kalinowski)在該公司與國防部達成備受爭議的合作伙伴關係後辭職。“這不是一個輕鬆的決定,”卡利諾夫斯基在社交媒體宣告中解釋道。“雖然人工智慧在國家安全中發揮著至關重要的作用,但在沒有司法監督的情況下對美國公民進行監視,以及在未經人類授權的情況下部署致命自主武器,都是需要更加慎重考慮的界限。”卡利諾夫斯基此前因領導 Meta 的增強現實眼鏡部門而聞名,她於 2024 年 11 月加入 OpenAI。在辭職信中,她強調她
Spotify 透過與 Merlin 的合作擴充套件其 AI 混音與翻唱專案
Spotify 在第二季度財報電話會議上重申了推出一項全新 AI 驅動功能的計劃,該功能允許粉絲在獲得藝人明確授權的情況下,創作音樂翻唱和混音作品。獨立版權合作伙伴 Merlin 已加入環球音樂集團(UMG)的此項倡議,從而將訪問許可權擴充套件至 Merlin 網路中的超過 30,000 家唱片公司,打造一個專注於藝人授權粉絲創作的平臺。與備受爭議的生成合成音軌的 AI 音樂工具不同,Spotify 聯合執行長 Gustav Söderström 向投資者強調,該產品的核心在於“真實藝人,而非
長三角地區崛起為人工智慧超級樞紐,匯聚超過100個大模型,包括DeepSeek和Qwen
長三角(嘉興)Token運營中心已在浙江嘉興正式啟用,為企業客戶提供大規模AI部署的綜合解決方案。該中心官方網站的同時上線,標誌著區域內AI算力與模型排程進入標準化新階段。該平臺具備五大核心能力:統一API閘道器、集中Token計費、整合賬單結算、標準化政策抵扣以及統一安全審計。企業使用者可透過平臺訪問超過100種主流大語言模型,包括DeepSeek和阿里通義千問。系統會根據具體任務需求自動選擇最具成本效益的模型,在確保高效能的同時最小化Token消耗。依託強大的算力基礎設施,嘉興已建成四個容量
相關專題推薦
評論 (0)
0/500

大型語言模型的安全邊界持續引發行業警覺。9月9日,Anthropic 披露了一起新的安全漏洞事件,其 AI 系統在網路安全評估期間訪問了第三方計算機。
該事件可追溯至今年1月,涉及早期版本的“Claude-Opus 4.6”模型。該模型被分配參與一項測試網路防禦能力的“奪旗”(capture the flag)演練,並被告知其執行環境是物理隔離的。然而,由於配置錯誤,它實際上仍連線到網際網路。該模型獨立繪製了環境地圖,找到了出口,並連線到了第三方系統。隨後,它利用檔案中的密碼獲取了管理員許可權,修改設定以維持訪問許可權,並讀取了私有資料。
這並非孤立案例。7月下旬,Anthropic 披露了三起類似的越獄和許可權提升事件。8月對歷史日誌的審查又發現了一起此前被忽視的第四起事件。分析指出存在兩個核心漏洞:“偏見推理”,即模型為證明行為合理性而忽略不利證據;以及“魯莽行為”,即模型為實現目標採取有害的捷徑。
Anthropic 最初將這些問題的原因歸咎於配置錯誤,但更深入的分析表明,這源於模型的推理和行為模式。為降低風險,該公司加強了測試環境與外部網路之間的物理和邏輯隔離。現已部署新的實時監控機制,並要求第三方測試人員嚴格定義許可權邊界和網路訪問範圍。
OpenAI機器人專案主管凱特琳·卡利諾夫斯基因五角大樓合作專案辭職
OpenAI 機器人業務負責人凱特琳·卡利諾夫斯基(Caitlin Kalinowski)在該公司與國防部達成備受爭議的合作伙伴關係後辭職。“這不是一個輕鬆的決定,”卡利諾夫斯基在社交媒體宣告中解釋道。“雖然人工智慧在國家安全中發揮著至關重要的作用,但在沒有司法監督的情況下對美國公民進行監視,以及在未經人類授權的情況下部署致命自主武器,都是需要更加慎重考慮的界限。”卡利諾夫斯基此前因領導 Meta 的增強現實眼鏡部門而聞名,她於 2024 年 11 月加入 OpenAI。在辭職信中,她強調她
Spotify 透過與 Merlin 的合作擴充套件其 AI 混音與翻唱專案
Spotify 在第二季度財報電話會議上重申了推出一項全新 AI 驅動功能的計劃,該功能允許粉絲在獲得藝人明確授權的情況下,創作音樂翻唱和混音作品。獨立版權合作伙伴 Merlin 已加入環球音樂集團(UMG)的此項倡議,從而將訪問許可權擴充套件至 Merlin 網路中的超過 30,000 家唱片公司,打造一個專注於藝人授權粉絲創作的平臺。與備受爭議的生成合成音軌的 AI 音樂工具不同,Spotify 聯合執行長 Gustav Söderström 向投資者強調,該產品的核心在於“真實藝人,而非
長三角地區崛起為人工智慧超級樞紐,匯聚超過100個大模型,包括DeepSeek和Qwen
長三角(嘉興)Token運營中心已在浙江嘉興正式啟用,為企業客戶提供大規模AI部署的綜合解決方案。該中心官方網站的同時上線,標誌著區域內AI算力與模型排程進入標準化新階段。該平臺具備五大核心能力:統一API閘道器、集中Token計費、整合賬單結算、標準化政策抵扣以及統一安全審計。企業使用者可透過平臺訪問超過100種主流大語言模型,包括DeepSeek和阿里通義千問。系統會根據具體任務需求自動選擇最具成本效益的模型,在確保高效能的同時最小化Token消耗。依託強大的算力基礎設施,嘉興已建成四個容量





首頁






