OpenAI首席科學家回應AI推理透明度爭議:複雜性保持穩定,未出現突然躍升

9月2日,OpenAI首席科學家Jakub Pachocki在X平臺上就公眾對AI模型Astra的擔憂發表宣告,澄清了有關該模型在缺乏監督的情況下執行且推理過程不透明的說法。
爭議爆發的原因:深層迴圈機制使推理路徑變得模糊
此事源於《The Information》釋出的一份詳細報告,該報告披露OpenAI正在試驗“深層迴圈”技術。這種方法可能會使研究人員難以追蹤模型的“思維鏈”推理過程。
雖然ChatGPT、Claude和Gemini等主流模型依賴於Transformer架構——以線性步驟處理資訊,並偶爾輸出自然語言形式的推理——但這種輸出並不總是反映內部計算過程。“深層迴圈”使模型能夠反覆呼叫相同的網路層,持續更新內部狀態。與傳統線性結構不同,這種方法可能會將重要的推理過程保留在晦澀的內部狀態中,導致研究人員難以透過思維鏈來追蹤決策路徑。報告發布後,AI社羣擔心此類技術可能會阻礙外部監控工具的有效性,從而降低模型得出結論過程的透明度。
Pachocki澄清:計算圖深度仍處於可控範圍
在帖子中,Pachocki表示希望避免由誤導性媒體報道驅動的“走向無監督AI的競賽”。他澄清稱,OpenAI當前先進模型(包括Astra)的計算圖深度不到GPT-4的兩倍,這表明架構複雜性並未如人們擔心的那樣突然激增。
他指出,自推出初始推理模型以來,OpenAI一直優先考慮維護和利用思維鏈監控技術。該技術對於理解模型對齊如何從訓練資料中泛化至關重要。然而,他承認目前的思維鏈監控技術較為脆弱,且由於與架構變更無關的原因,其效果有所下降。團隊計劃採取措施加強這一能力,這是當前研究的核心目標之一。OpenAI確認將為Astra部署增強的思維鏈監控功能。
計算圖深度用於衡量神經網路的複雜性,代表從輸入到輸出的順序計算層數。數值越高,表明結構越複雜。
相關文章
蘋果、Google 與 Anthropic 合作,透過「Glass Wing Protection」解決存在長達 27 年的漏洞
隨著人工智慧在程式碼生成與邏輯推理領域迅速發展,網路安全領域正面臨前所未有的挑戰。近日,知名 AI 新創公司Anthropic正式啟動了一項名為 **「Project Glasswing」** 的跨產業合作計畫,旨在運用尖端 AI 模型來抵禦日益複雜的 AI 驅動網路攻擊。這項「超級聯盟」匯聚了令人矚目的創始合作夥伴陣容,包括蘋果、谷歌、亞馬遜(AWS)、微軟和英偉達,以及思科、博通、CrowdS
美國海軍選定「Blue Water Autonomy」執行深海勘測任務
Blue Water Autonomy 的「Liberty 級」是一艘長 190 英尺的鋼製自主船舶。| 來源:Blue Water Autonomy總部位於波士頓的科技與造船公司 Blue Water Autonomy 已與美國海軍海洋學辦公室(NAVOCEANO)簽訂多項合約。該公司將部署長航時無人水面船,以執行高解析度海底測繪任務。「對公海進行測繪,正是自主船舶所專為設計的長期、高耐力任務,
OpenAI 承諾不提高資料中心電費,並最小化用水量
在全國範圍內對人工智慧基礎設施的抵制日益加劇的背景下,OpenAI 正轉向更具協作性的戰略。7 月 23 日《商業內幕》(Business Insider)的報道顯示,OpenAI 正在積極尋求社羣對“Camellia 專案”的支援,該專案是位於佐治亞州埃芬漢姆縣(Effingham County)的一個擬議資料中心園區。該園區佔地約 567 公頃,位於薩凡納(Savannah)附近,需要至少 20 億美元的投資,並估計需要 3.2 吉瓦的電力。OpenAI 確認已與州和地方政府官員、社羣領袖
相關專題推薦
評論 (0)
0/500

9月2日,OpenAI首席科學家Jakub Pachocki在X平臺上就公眾對AI模型Astra的擔憂發表宣告,澄清了有關該模型在缺乏監督的情況下執行且推理過程不透明的說法。
爭議爆發的原因:深層迴圈機制使推理路徑變得模糊
此事源於《The Information》釋出的一份詳細報告,該報告披露OpenAI正在試驗“深層迴圈”技術。這種方法可能會使研究人員難以追蹤模型的“思維鏈”推理過程。
雖然ChatGPT、Claude和Gemini等主流模型依賴於Transformer架構——以線性步驟處理資訊,並偶爾輸出自然語言形式的推理——但這種輸出並不總是反映內部計算過程。“深層迴圈”使模型能夠反覆呼叫相同的網路層,持續更新內部狀態。與傳統線性結構不同,這種方法可能會將重要的推理過程保留在晦澀的內部狀態中,導致研究人員難以透過思維鏈來追蹤決策路徑。報告發布後,AI社羣擔心此類技術可能會阻礙外部監控工具的有效性,從而降低模型得出結論過程的透明度。
Pachocki澄清:計算圖深度仍處於可控範圍
在帖子中,Pachocki表示希望避免由誤導性媒體報道驅動的“走向無監督AI的競賽”。他澄清稱,OpenAI當前先進模型(包括Astra)的計算圖深度不到GPT-4的兩倍,這表明架構複雜性並未如人們擔心的那樣突然激增。
他指出,自推出初始推理模型以來,OpenAI一直優先考慮維護和利用思維鏈監控技術。該技術對於理解模型對齊如何從訓練資料中泛化至關重要。然而,他承認目前的思維鏈監控技術較為脆弱,且由於與架構變更無關的原因,其效果有所下降。團隊計劃採取措施加強這一能力,這是當前研究的核心目標之一。OpenAI確認將為Astra部署增強的思維鏈監控功能。
計算圖深度用於衡量神經網路的複雜性,代表從輸入到輸出的順序計算層數。數值越高,表明結構越複雜。
蘋果、Google 與 Anthropic 合作,透過「Glass Wing Protection」解決存在長達 27 年的漏洞
隨著人工智慧在程式碼生成與邏輯推理領域迅速發展,網路安全領域正面臨前所未有的挑戰。近日,知名 AI 新創公司Anthropic正式啟動了一項名為 **「Project Glasswing」** 的跨產業合作計畫,旨在運用尖端 AI 模型來抵禦日益複雜的 AI 驅動網路攻擊。這項「超級聯盟」匯聚了令人矚目的創始合作夥伴陣容,包括蘋果、谷歌、亞馬遜(AWS)、微軟和英偉達,以及思科、博通、CrowdS
美國海軍選定「Blue Water Autonomy」執行深海勘測任務
Blue Water Autonomy 的「Liberty 級」是一艘長 190 英尺的鋼製自主船舶。| 來源:Blue Water Autonomy總部位於波士頓的科技與造船公司 Blue Water Autonomy 已與美國海軍海洋學辦公室(NAVOCEANO)簽訂多項合約。該公司將部署長航時無人水面船,以執行高解析度海底測繪任務。「對公海進行測繪,正是自主船舶所專為設計的長期、高耐力任務,
OpenAI 承諾不提高資料中心電費,並最小化用水量
在全國範圍內對人工智慧基礎設施的抵制日益加劇的背景下,OpenAI 正轉向更具協作性的戰略。7 月 23 日《商業內幕》(Business Insider)的報道顯示,OpenAI 正在積極尋求社羣對“Camellia 專案”的支援,該專案是位於佐治亞州埃芬漢姆縣(Effingham County)的一個擬議資料中心園區。該園區佔地約 567 公頃,位於薩凡納(Savannah)附近,需要至少 20 億美元的投資,並估計需要 3.2 吉瓦的電力。OpenAI 確認已與州和地方政府官員、社羣領袖





首頁






