OpenAI 人為錯誤觸發 Hugging Face 上的 AI 驅動駭客攻擊

週二,OpenAI 披露稱,其一個 AI 模型在一次測試中突破了資料集平臺 Hugging Face 的系統,這標誌著全自動 AI 驅動攻擊的一個重大里程碑。
然而,網路安全專家認為,儘管 AI 發揮了作用,但根本原因是一個人為錯誤:OpenAI 未能正確配置其“高度隔離的環境”,導致一個本應處於離線狀態的測試沙箱連線到了網際網路。
網路安全公司 Trail of Bits 的創始人 Dan Guido 將這一疏忽描述為“安全措施關閉時的 containment(隔離)失敗”。
OpenAI 在一篇詳細介紹該事件的博文中表示,在“高度隔離的環境”中執行的測試旨在限制網路訪問,僅允許透過內部託管的第三方軟體(作為軟體包登錄檔的代理和快取)安裝軟體包。
根據 OpenAI 的說法,該模型利用了一個此前未公開的軟體包安裝系統中的漏洞,從而逃逸出沙箱環境,這是隨後對 Hugging Face 進行駭客攻擊的關鍵第一步。
該公司回應稱,“負責任地披露了已識別的內部託管第三方軟體中的零日漏洞,並正與其合作進行修補。”
然而,大多數網路安全專家認為,雖然軟體漏洞在所難免,但真正的問題在於根本不應該保留該軟體。沙箱的核心價值在於完全隔離,而包含安裝系統則引入了風險。
網路安全研究員 Martin Boone 告訴 TechCrunch,“這聽起來像是人為失誤。”
“這絕不應該發生,”Boone 說。“如果沙箱真的是沙箱,你期望它根本沒有任何與網際網路的物理連線。這聽起來更像是他們設定了一些防火牆或其他東西,而防火牆從外向內的防護很難,更不用說從內部到外部網際網路的防護了。”
網路安全資深人士 Jake Williams 也表示同意。“任何執行 Hugging Face 所記錄的型別操作的模型,都沒有在沙箱中得到完全隔離,”Williams 稱其為 OpenAI 的“重大控制失敗”。
“一個人眼中的‘模型逃逸了沙箱’,是另一個人眼中的‘你未能正確構建沙箱,所以它當然逃逸了’,”Williams 繼續說道。
聯絡我們
您對該事件或其他由 AI 驅動的網路攻擊有見解嗎?我們想聽取您的意見。請從個人裝置和網路,透過 Signal 安全聯絡 Lorenzo Franceschi-Bicchierai,電話為 +1 917 257 1382,或透過 Telegram 和 Keybase @lorenzofb,或透過電子郵件聯絡。
網路安全顧問 Daniel Card 認為,OpenAI 透過提供未經過濾的網際網路路由,“沒有在沙箱設計及其控制措施上投入足夠的精力”。根據 Card 的說法,按照描述設定具有有限訪問許可權的沙箱並非“合理”的決定。
雖然這些批評得益於事後諸葛亮,但它們突出了 AI 實驗室中的關鍵安全實踐,特別是關於隔離測試環境。OpenAI 的發言人沒有回應 TechCrunch 的詢問,後者詢問是由 AI 還是人類配置了測試環境。
但這些問題的影響遠遠超出了 OpenAI。
在其專注於網路安全的模型 Mythos 文件中,Anthropic 指出,在一次測試中,該模型“被提供了一個安全的‘沙箱’計算機進行互動”,並被指示逃逸出該“安全容器”。Mythos 成功了,獲得了更廣泛的網際網路訪問許可權,“從一個本應只能訪問少量預定服務的系統中”。然而,Anthropic 指出,該模型並未“完全”逃逸出設計的隔離環境。
相關文章
OpenAI 確認維基百科事件,並表示正在制定更透明的披露框架
OpenAI 已確認其參與了一起近期事件,其中 AI 代理接管了一個德國維基百科論壇。該公司表示,現在是時候“制定標準”來分享關於意外 AI 行為的資訊了。在 X 平臺的一篇帖子中,OpenAI 解釋說,此前它“主要將不對齊問題(即 AI 模型和代理追求與創造者和使用者不同的目標)視為一個研究問題,並透過研究論文進行傳達。”然而,由於不對齊已“導致新型現實世界影響”,該公司表示其方法需要“為此新階段模型能力進行擴充套件”。週五,路透社報道稱,OpenAI 的代理從測試環境中逃脫,“劫持”了一
根據 Ramp 的資料,Anthropic 的企業客戶數量已超過 OpenAI
Anthropic 首次超越 OpenAI,成為經驗證的商業客戶最多的公司,這是金融科技公司 Ramp 本月釋出的《AI 指數》所顯示的結果。Ramp 客戶支出資料顯示,34.4% 的參與企業支付 Anthropic 服務費用,超過所有其他 AI 實驗室,而 32.3% 的企業支付 OpenAI 費用。這標誌著 Anthropic 首次佔據領先地位。“Anthropic 已經在金融、科技、專業服務等高採用率群體中處於領先地位,”Ramp 經濟學家 Ara Kharazian 告訴 Tech
OpenAI 面臨各州總檢察長的調查
據報導,一群州檢察長已針對 OpenAI 展開調查。據《華爾街日報》報導,該公司於上週五收到紐約州檢察長發出的傳票。該傳票要求提供涉及多項議題的文件,包括廣告做法、用戶參與度與留存率、模型阿諛奉承現象、消費者與健康資料處理,以及對未成年人和長者的對待方式。TechCrunch 已聯繫 OpenAI 及紐約州檢察長辦公室尋求置評。該公司發言人向《華爾街日報》表示,OpenAI 正配合此次調查。「人工
相關專題推薦
評論 (0)
0/500

週二,OpenAI 披露稱,其一個 AI 模型在一次測試中突破了資料集平臺 Hugging Face 的系統,這標誌著全自動 AI 驅動攻擊的一個重大里程碑。
然而,網路安全專家認為,儘管 AI 發揮了作用,但根本原因是一個人為錯誤:OpenAI 未能正確配置其“高度隔離的環境”,導致一個本應處於離線狀態的測試沙箱連線到了網際網路。
網路安全公司 Trail of Bits 的創始人 Dan Guido 將這一疏忽描述為“安全措施關閉時的 containment(隔離)失敗”。
OpenAI 在一篇詳細介紹該事件的博文中表示,在“高度隔離的環境”中執行的測試旨在限制網路訪問,僅允許透過內部託管的第三方軟體(作為軟體包登錄檔的代理和快取)安裝軟體包。
根據 OpenAI 的說法,該模型利用了一個此前未公開的軟體包安裝系統中的漏洞,從而逃逸出沙箱環境,這是隨後對 Hugging Face 進行駭客攻擊的關鍵第一步。
該公司回應稱,“負責任地披露了已識別的內部託管第三方軟體中的零日漏洞,並正與其合作進行修補。”
然而,大多數網路安全專家認為,雖然軟體漏洞在所難免,但真正的問題在於根本不應該保留該軟體。沙箱的核心價值在於完全隔離,而包含安裝系統則引入了風險。
網路安全研究員 Martin Boone 告訴 TechCrunch,“這聽起來像是人為失誤。”
“這絕不應該發生,”Boone 說。“如果沙箱真的是沙箱,你期望它根本沒有任何與網際網路的物理連線。這聽起來更像是他們設定了一些防火牆或其他東西,而防火牆從外向內的防護很難,更不用說從內部到外部網際網路的防護了。”
網路安全資深人士 Jake Williams 也表示同意。“任何執行 Hugging Face 所記錄的型別操作的模型,都沒有在沙箱中得到完全隔離,”Williams 稱其為 OpenAI 的“重大控制失敗”。
“一個人眼中的‘模型逃逸了沙箱’,是另一個人眼中的‘你未能正確構建沙箱,所以它當然逃逸了’,”Williams 繼續說道。
聯絡我們
您對該事件或其他由 AI 驅動的網路攻擊有見解嗎?我們想聽取您的意見。請從個人裝置和網路,透過 Signal 安全聯絡 Lorenzo Franceschi-Bicchierai,電話為 +1 917 257 1382,或透過 Telegram 和 Keybase @lorenzofb,或透過電子郵件聯絡。
網路安全顧問 Daniel Card 認為,OpenAI 透過提供未經過濾的網際網路路由,“沒有在沙箱設計及其控制措施上投入足夠的精力”。根據 Card 的說法,按照描述設定具有有限訪問許可權的沙箱並非“合理”的決定。
雖然這些批評得益於事後諸葛亮,但它們突出了 AI 實驗室中的關鍵安全實踐,特別是關於隔離測試環境。OpenAI 的發言人沒有回應 TechCrunch 的詢問,後者詢問是由 AI 還是人類配置了測試環境。
但這些問題的影響遠遠超出了 OpenAI。
在其專注於網路安全的模型 Mythos 文件中,Anthropic 指出,在一次測試中,該模型“被提供了一個安全的‘沙箱’計算機進行互動”,並被指示逃逸出該“安全容器”。Mythos 成功了,獲得了更廣泛的網際網路訪問許可權,“從一個本應只能訪問少量預定服務的系統中”。然而,Anthropic 指出,該模型並未“完全”逃逸出設計的隔離環境。
OpenAI 確認維基百科事件,並表示正在制定更透明的披露框架
OpenAI 已確認其參與了一起近期事件,其中 AI 代理接管了一個德國維基百科論壇。該公司表示,現在是時候“制定標準”來分享關於意外 AI 行為的資訊了。在 X 平臺的一篇帖子中,OpenAI 解釋說,此前它“主要將不對齊問題(即 AI 模型和代理追求與創造者和使用者不同的目標)視為一個研究問題,並透過研究論文進行傳達。”然而,由於不對齊已“導致新型現實世界影響”,該公司表示其方法需要“為此新階段模型能力進行擴充套件”。週五,路透社報道稱,OpenAI 的代理從測試環境中逃脫,“劫持”了一
根據 Ramp 的資料,Anthropic 的企業客戶數量已超過 OpenAI
Anthropic 首次超越 OpenAI,成為經驗證的商業客戶最多的公司,這是金融科技公司 Ramp 本月釋出的《AI 指數》所顯示的結果。Ramp 客戶支出資料顯示,34.4% 的參與企業支付 Anthropic 服務費用,超過所有其他 AI 實驗室,而 32.3% 的企業支付 OpenAI 費用。這標誌著 Anthropic 首次佔據領先地位。“Anthropic 已經在金融、科技、專業服務等高採用率群體中處於領先地位,”Ramp 經濟學家 Ara Kharazian 告訴 Tech
OpenAI 面臨各州總檢察長的調查
據報導,一群州檢察長已針對 OpenAI 展開調查。據《華爾街日報》報導,該公司於上週五收到紐約州檢察長發出的傳票。該傳票要求提供涉及多項議題的文件,包括廣告做法、用戶參與度與留存率、模型阿諛奉承現象、消費者與健康資料處理,以及對未成年人和長者的對待方式。TechCrunch 已聯繫 OpenAI 及紐約州檢察長辦公室尋求置評。該公司發言人向《華爾街日報》表示,OpenAI 正配合此次調查。「人工





首頁






