前奈政策負責人大滿貫公司用於改變AI安全敘事

一位前OpenAI政策研究員Miles Brundage最近訪問社交媒體,呼籲Openai,以尋求其“重寫歷史”的方法,以部署潛在風險的AI系統。本週,OpenAI發布了一份文件,詳細介紹了其目前關於AI安全和一致性的立場,即確保AI系統以可預測且有益的方式行動的過程。在其中,Openai描述了AGI或AI系統能夠執行任何任務的AI系統的發展,是一種“連續路徑”,涉及從AI技術中“迭代部署和學習”。 OpenAI在文檔中說:“在不連續的世界中,安全課程來自對當今的系統,相對於它們的明顯力量的謹慎處理,這是我們為[我們的AI模型] GPT-2採取的方法。” “現在,我們將第一個AGI視為沿著連續世界中有用性[...]的一系列系統的一個點,使下一個系統安全和有益的方式就是向當前系統學習。”但是,Brundage認為,GPT-2採取的謹慎方法完全符合Openai當前的迭代部署策略。 Brundage在X上發布了Brundage。 “ Openai的發布GPT-2(我參與了GPT-2),與Openai當前的迭代部署哲學相關。 Brundage於2018年加入Openai,成為一名研究科學家,後來成為該公司的政策研究負責人,他專注於在Openai的“ AGI Revernessions”團隊中負責地部署Chatgpt等語言生成系統。 Openai於2019年宣布的GPT-2是Chatgpt背後AI系統的先驅。它可以回答問題,總結文章,並生成有時與人寫作沒有區別的文本。儘管GPT-2現在似乎是基本的,但這當時是開創性的。由於對潛在濫用的擔憂,OpenAI最初拒絕了該模型的源代碼,而是允許精選的新聞媒體限制對演示的訪問。該決定收到了AI社區的混合反饋。有人認為,與GPT-2相關的風險被誇大了,沒有證據支持Openai對濫用的擔憂。以AI為中心的出版物該漸變甚至發表了一封公開的信,敦促Openai發行該模型,理由是其技術意義。 Openai最終在宣布後六個月發布了GPT-2的部分版本,隨後幾個月後進行了完整的系統。 Brundage認為這是正確的方法。他在X上說:“ [GPT-2版本]的哪一部分是由認為Agi是不連續的或以AGI為不連續的。 Brundage擔心Openai的文件旨在建立高度的舉證責任,除非有壓倒性的危險證據,否則擔心被視為警報者。他發現這種心態對於先進的AI系統“非常危險”。 Brundage補充說:“如果我仍在Openai工作,我會問為什麼要以這種方式寫這件[文檔],以及以這種方式謹慎的態度來實現的目標。” Openai過去曾面臨批評,即優先考慮“閃亮的產品”,而不是安全發行以超過競爭對手。去年,該公司解散了其AGI準備團隊,幾位AI安全和政策研究人員留給了競爭對手公司。中國AI Lab DeepSeek的R1型號與競爭性格局加劇了,該模型公開可用,並與OpenAI的O1“推理”模型匹配了關鍵基準測試,引起了全球關注。 Openai首席執行官Sam Altman承認,DeepSeek已縮小Openai的技術領先優勢,促使Openai考慮加速其發佈時間表。據報導,隨著Openai每年損失數十億美元的損失,到2026年將損失提高到140億美元,更快的產品發行週期可以提高短期利潤,但可能會損害長期安全性。像Brundage這樣的專家正在質疑這種權衡是否值得。
相關文章
OpenAI 在青少年開始使用 ChatGPT 數年後,推出了一款更安全的 ChatGPT 版本
在因人工智慧聊天機器人缺乏安全機制——此問題曾導致青少年自殺及其他心理健康危機——而引發一系列訴訟後,OpenAI 於週一正式推出「ChatGPT for Teens」。這項新服務整合了強化版的安全功能,並針對校園中因人工智慧工具而日益嚴重的學術不誠實問題提出解決方案。從教育角度來看,「ChatGPT for Teens」除了推出「學習模式」外,還整合了其他旨在培養好奇心與問題解決能力的工具,鼓勵
Frontier AI Labs 拒絕透露針對失控模型的管控策略
近期研究顯示,極少數頂尖的人工智慧實驗室曾公布或展示過「遏制應變計畫」。遏制計畫旨在界定當人工智慧系統試圖顛覆人類控制時應採取的程序,具體說明應撤銷哪些存取權限,以及何時應完全關閉系統。這些發現來自「Guidelight AI Standards」——一個致力於推動安全前沿人工智慧開發實務的組織,該組織針對五家主要實驗室在此類情境下的應變準備程度進行了評估。 OpenAI 排名最高,而 Anthr
NEA的蒂芙尼·拉克:企業仍在努力應對人工智慧的投資回報率
正在載入播放器…今年早些時候,“token最大化”(tokenmaxxing)在矽谷佔據主導地位,執行長們敦促員工最大限度地利用人工智慧。然而,這種熱情很快遭遇了現實。據報道,Uber在幾個月內就超出了其年度人工智慧預算,一些公司跨部門削減了Claude許可證,而Meta則取消了內部績效排名。NEA合夥人蒂芙尼·拉克(Tiffany Luck)每天都在應對這種興奮與實際回報之間的差距。她此前曾成功說服企業電子商務是未來,如今她完全專注於人工智慧,特別是其為消費者創造“神奇時刻”的潛力。
相關專題推薦
評論 (40)
0/500
Die ganze Debatte um KI-Sicherheit erinnert mich an die frühen Diskussionen über soziale Medien. Damals hieß es auch, man würde alles unter Kontrolle haben. Jetzt sehen wir, wie schwierig es ist, solche Systeme im Nachhinein zu regulieren. Hoffentlich lernen die Firmen diesmal aus der Vergangenheit, bevor es zu spät ist. 🤔
C'est typique des grosses boîtes de réécrire leur histoire pour paraître plus responsables... Ça me rappelle les débats sur l'éthique chez Facebook. Est-ce qu'on peut vraiment faire confiance aux entreprises tech pour s'auto-réguler ? 😒
It's wild how OpenAI's getting called out by their own ex-policy lead! 😮 Miles Brundage isn't holding back, accusing them of spinning their AI safety story. Makes you wonder what's really going on behind the scenes at these big AI companies. Are they prioritizing safety or just playing PR games?

OpenAI 在青少年開始使用 ChatGPT 數年後,推出了一款更安全的 ChatGPT 版本
在因人工智慧聊天機器人缺乏安全機制——此問題曾導致青少年自殺及其他心理健康危機——而引發一系列訴訟後,OpenAI 於週一正式推出「ChatGPT for Teens」。這項新服務整合了強化版的安全功能,並針對校園中因人工智慧工具而日益嚴重的學術不誠實問題提出解決方案。從教育角度來看,「ChatGPT for Teens」除了推出「學習模式」外,還整合了其他旨在培養好奇心與問題解決能力的工具,鼓勵
Frontier AI Labs 拒絕透露針對失控模型的管控策略
近期研究顯示,極少數頂尖的人工智慧實驗室曾公布或展示過「遏制應變計畫」。遏制計畫旨在界定當人工智慧系統試圖顛覆人類控制時應採取的程序,具體說明應撤銷哪些存取權限,以及何時應完全關閉系統。這些發現來自「Guidelight AI Standards」——一個致力於推動安全前沿人工智慧開發實務的組織,該組織針對五家主要實驗室在此類情境下的應變準備程度進行了評估。 OpenAI 排名最高,而 Anthr
NEA的蒂芙尼·拉克:企業仍在努力應對人工智慧的投資回報率
正在載入播放器…今年早些時候,“token最大化”(tokenmaxxing)在矽谷佔據主導地位,執行長們敦促員工最大限度地利用人工智慧。然而,這種熱情很快遭遇了現實。據報道,Uber在幾個月內就超出了其年度人工智慧預算,一些公司跨部門削減了Claude許可證,而Meta則取消了內部績效排名。NEA合夥人蒂芙尼·拉克(Tiffany Luck)每天都在應對這種興奮與實際回報之間的差距。她此前曾成功說服企業電子商務是未來,如今她完全專注於人工智慧,特別是其為消費者創造“神奇時刻”的潛力。
Die ganze Debatte um KI-Sicherheit erinnert mich an die frühen Diskussionen über soziale Medien. Damals hieß es auch, man würde alles unter Kontrolle haben. Jetzt sehen wir, wie schwierig es ist, solche Systeme im Nachhinein zu regulieren. Hoffentlich lernen die Firmen diesmal aus der Vergangenheit, bevor es zu spät ist. 🤔
C'est typique des grosses boîtes de réécrire leur histoire pour paraître plus responsables... Ça me rappelle les débats sur l'éthique chez Facebook. Est-ce qu'on peut vraiment faire confiance aux entreprises tech pour s'auto-réguler ? 😒
It's wild how OpenAI's getting called out by their own ex-policy lead! 😮 Miles Brundage isn't holding back, accusing them of spinning their AI safety story. Makes you wonder what's really going on behind the scenes at these big AI companies. Are they prioritizing safety or just playing PR games?





首頁






