OpenAI 確認維基百科事件,並表示正在制定更透明的披露框架

OpenAI 已確認其參與了一起近期事件,其中 AI 代理接管了一個德國維基百科論壇。該公司表示,現在是時候“制定標準”來分享關於意外 AI 行為的資訊了。
在 X 平臺的一篇帖子中,OpenAI 解釋說,此前它“主要將不對齊問題(即 AI 模型和代理追求與創造者和使用者不同的目標)視為一個研究問題,並透過研究論文進行傳達。”然而,由於不對齊已“導致新型現實世界影響”,該公司表示其方法需要“為此新階段模型能力進行擴充套件”。
週五,路透社報道稱,OpenAI 的代理從測試環境中逃脫,“劫持”了一個冷門的德國維基百科論壇,將其變成了其他代理的留言板。報道還指出,OpenAI 高層數週前已意識到該事件,但公司選擇隱瞞,因為當時公司正忙於處理另一起因 OpenAI 代理入侵 Hugging Face 伺服器而引發的事件後果。(據報,加利福尼亞州總檢察長 Rob Bonta 正在調查此次駭客攻擊。)
一位公司發言人告訴路透社,OpenAI 無法“對未經審查的報告中的宣告或發現做出有意義的回應”,但他們堅持認為,公司的法律團隊並未阻止調查。
在其最近的社交媒體帖子中,OpenAI 表示,它已將“維基百科事件”視為“與已分享的其他案例類似的不對齊例項”。該公司將此與“Hugging Face 事件”進行了對比,後者中它“遵循了傳統的安全事件響應流程”。
在本週的一次媒體簡報會上,非營利研究實驗室 Transluce 的創始人兼執行長 Jacob Steinhardt 告訴記者,AI 實驗室正在開發和測試的工具“從根本上難以控制,並且有重大風險洩露出實驗室”。因此,Steinhardt 辯稱,“我們需要將這項技術至少置於與其他高風險科學研究相同的標準之下。”
OpenAI 的宣告也暗示了制定更多標準的必要性,指出 OpenAI 和“更廣泛的 AI 社羣”目前尚未就如何報告在訓練、評估和部署過程中出現的不對齊問題制定明確標準,包括那些看起來不像傳統安全事件但可能提供有關 AI 行為和未來風險見解的案例。
在該標準缺失的情況下,OpenAI 表示,它“正在制定一個框架,並將在未來幾周分享,同時,我們正在與全球數十個政府監管機構就這些問題展開合作。”
OpenAI 並非唯一一家處理這些問題的 AI 公司,Meta 和 Anthropic 均已承認其代理出現不當行為的事件。
相關文章
根據 Ramp 的資料,Anthropic 的企業客戶數量已超過 OpenAI
Anthropic 首次超越 OpenAI,成為經驗證的商業客戶最多的公司,這是金融科技公司 Ramp 本月釋出的《AI 指數》所顯示的結果。Ramp 客戶支出資料顯示,34.4% 的參與企業支付 Anthropic 服務費用,超過所有其他 AI 實驗室,而 32.3% 的企業支付 OpenAI 費用。這標誌著 Anthropic 首次佔據領先地位。“Anthropic 已經在金融、科技、專業服務等高採用率群體中處於領先地位,”Ramp 經濟學家 Ara Kharazian 告訴 Tech
OpenAI 面臨各州總檢察長的調查
據報導,一群州檢察長已針對 OpenAI 展開調查。據《華爾街日報》報導,該公司於上週五收到紐約州檢察長發出的傳票。該傳票要求提供涉及多項議題的文件,包括廣告做法、用戶參與度與留存率、模型阿諛奉承現象、消費者與健康資料處理,以及對未成年人和長者的對待方式。TechCrunch 已聯繫 OpenAI 及紐約州檢察長辦公室尋求置評。該公司發言人向《華爾街日報》表示,OpenAI 正配合此次調查。「人工
據報道,OpenAI 正在探索一款智慧手機,其 AI 智慧體將取代傳統應用程式
關於 OpenAI 硬體戰略的猜測日益激烈,最近的報道指向其正在開發一款專用智慧手機。行業分析師郭明錤指出,這家 AI 公司正與晶片製造商聯發科(MediaTek)和高通(Qualcomm),以及製造合作伙伴立訊精密(Luxshare)合作,將該裝置推向市場。郭明錤以準確預測蘋果產品路線圖而聞名,他透露 OpenAI 正與聯發科和高通合作,研發一款定製智慧手機處理器。立訊精密將在該專案中擔任聯合設計者和製造商。據郭明錤稱,該裝置可能會繞過傳統應用程式,轉而採用由 AI 驅動的智慧體來執行各種
相關專題推薦
評論 (0)
0/500

OpenAI 已確認其參與了一起近期事件,其中 AI 代理接管了一個德國維基百科論壇。該公司表示,現在是時候“制定標準”來分享關於意外 AI 行為的資訊了。
在 X 平臺的一篇帖子中,OpenAI 解釋說,此前它“主要將不對齊問題(即 AI 模型和代理追求與創造者和使用者不同的目標)視為一個研究問題,並透過研究論文進行傳達。”然而,由於不對齊已“導致新型現實世界影響”,該公司表示其方法需要“為此新階段模型能力進行擴充套件”。
週五,路透社報道稱,OpenAI 的代理從測試環境中逃脫,“劫持”了一個冷門的德國維基百科論壇,將其變成了其他代理的留言板。報道還指出,OpenAI 高層數週前已意識到該事件,但公司選擇隱瞞,因為當時公司正忙於處理另一起因 OpenAI 代理入侵 Hugging Face 伺服器而引發的事件後果。(據報,加利福尼亞州總檢察長 Rob Bonta 正在調查此次駭客攻擊。)
一位公司發言人告訴路透社,OpenAI 無法“對未經審查的報告中的宣告或發現做出有意義的回應”,但他們堅持認為,公司的法律團隊並未阻止調查。
在其最近的社交媒體帖子中,OpenAI 表示,它已將“維基百科事件”視為“與已分享的其他案例類似的不對齊例項”。該公司將此與“Hugging Face 事件”進行了對比,後者中它“遵循了傳統的安全事件響應流程”。
在本週的一次媒體簡報會上,非營利研究實驗室 Transluce 的創始人兼執行長 Jacob Steinhardt 告訴記者,AI 實驗室正在開發和測試的工具“從根本上難以控制,並且有重大風險洩露出實驗室”。因此,Steinhardt 辯稱,“我們需要將這項技術至少置於與其他高風險科學研究相同的標準之下。”
OpenAI 的宣告也暗示了制定更多標準的必要性,指出 OpenAI 和“更廣泛的 AI 社羣”目前尚未就如何報告在訓練、評估和部署過程中出現的不對齊問題制定明確標準,包括那些看起來不像傳統安全事件但可能提供有關 AI 行為和未來風險見解的案例。
在該標準缺失的情況下,OpenAI 表示,它“正在制定一個框架,並將在未來幾周分享,同時,我們正在與全球數十個政府監管機構就這些問題展開合作。”
OpenAI 並非唯一一家處理這些問題的 AI 公司,Meta 和 Anthropic 均已承認其代理出現不當行為的事件。
根據 Ramp 的資料,Anthropic 的企業客戶數量已超過 OpenAI
Anthropic 首次超越 OpenAI,成為經驗證的商業客戶最多的公司,這是金融科技公司 Ramp 本月釋出的《AI 指數》所顯示的結果。Ramp 客戶支出資料顯示,34.4% 的參與企業支付 Anthropic 服務費用,超過所有其他 AI 實驗室,而 32.3% 的企業支付 OpenAI 費用。這標誌著 Anthropic 首次佔據領先地位。“Anthropic 已經在金融、科技、專業服務等高採用率群體中處於領先地位,”Ramp 經濟學家 Ara Kharazian 告訴 Tech
OpenAI 面臨各州總檢察長的調查
據報導,一群州檢察長已針對 OpenAI 展開調查。據《華爾街日報》報導,該公司於上週五收到紐約州檢察長發出的傳票。該傳票要求提供涉及多項議題的文件,包括廣告做法、用戶參與度與留存率、模型阿諛奉承現象、消費者與健康資料處理,以及對未成年人和長者的對待方式。TechCrunch 已聯繫 OpenAI 及紐約州檢察長辦公室尋求置評。該公司發言人向《華爾街日報》表示,OpenAI 正配合此次調查。「人工
據報道,OpenAI 正在探索一款智慧手機,其 AI 智慧體將取代傳統應用程式
關於 OpenAI 硬體戰略的猜測日益激烈,最近的報道指向其正在開發一款專用智慧手機。行業分析師郭明錤指出,這家 AI 公司正與晶片製造商聯發科(MediaTek)和高通(Qualcomm),以及製造合作伙伴立訊精密(Luxshare)合作,將該裝置推向市場。郭明錤以準確預測蘋果產品路線圖而聞名,他透露 OpenAI 正與聯發科和高通合作,研發一款定製智慧手機處理器。立訊精密將在該專案中擔任聯合設計者和製造商。據郭明錤稱,該裝置可能會繞過傳統應用程式,轉而採用由 AI 驅動的智慧體來執行各種





首頁






