前奈政策負責人大滿貫公司用於改變AI安全敘事

# openai # policy

一位前OpenAI政策研究員Miles Brundage最近訪問社交媒體，呼籲Openai，以尋求其“重寫歷史”的方法，以部署潛在風險的AI系統。本週，OpenAI發布了一份文件，詳細介紹了其目前關於AI安全和一致性的立場，即確保AI系統以可預測且有益的方式行動的過程。在其中，Openai描述了AGI或AI系統能夠執行任何任務的AI系統的發展，是一種“連續路徑”，涉及從AI技術中“迭代部署和學習”。 OpenAI在文檔中說：“在不連續的世界中，安全課程來自對當今的系統，相對於它們的明顯力量的謹慎處理，這是我們為[我們的AI模型] GPT-2採取的方法。” “現在，我們將第一個AGI視為沿著連續世界中有用性[...]的一系列系統的一個點，使下一個系統安全和有益的方式就是向當前系統學習。”但是，Brundage認為，GPT-2採取的謹慎方法完全符合Openai當前的迭代部署策略。 Brundage在X上發布了Brundage。 “ Openai的發布GPT-2（我參與了GPT-2），與Openai當前的迭代部署哲學相關。 Brundage於2018年加入Openai，成為一名研究科學家，後來成為該公司的政策研究負責人，他專注於在Openai的“ AGI Revernessions”團隊中負責地部署Chatgpt等語言生成系統。 Openai於2019年宣布的GPT-2是Chatgpt背後AI系統的先驅。它可以回答問題，總結文章，並生成有時與人寫作沒有區別的文本。儘管GPT-2現在似乎是基本的，但這當時是開創性的。由於對潛在濫用的擔憂，OpenAI最初拒絕了該模型的源代碼，而是允許精選的新聞媒體限制對演示的訪問。該決定收到了AI社區的混合反饋。有人認為，與GPT-2相關的風險被誇大了，沒有證據支持Openai對濫用的擔憂。以AI為中心的出版物該漸變甚至發表了一封公開的信，敦促Openai發行該模型，理由是其技術意義。 Openai最終在宣布後六個月發布了GPT-2的部分版本，隨後幾個月後進行了完整的系統。 Brundage認為這是正確的方法。他在X上說：“ [GPT-2版本]的哪一部分是由認為Agi是不連續的或以AGI為不連續的。 Brundage擔心Openai的文件旨在建立高度的舉證責任，除非有壓倒性的危險證據，否則擔心被視為警報者。他發現這種心態對於先進的AI系統“非常危險”。 Brundage補充說：“如果我仍在Openai工作，我會問為什麼要以這種方式寫這件[文檔]，以及以這種方式謹慎的態度來實現的目標。” Openai過去曾面臨批評，即優先考慮“閃亮的產品”，而不是安全發行以超過競爭對手。去年，該公司解散了其AGI準備團隊，幾位AI安全和政策研究人員留給了競爭對手公司。中國AI Lab DeepSeek的R1型號與競爭性格局加劇了，該模型公開可用，並與OpenAI的O1“推理”模型匹配了關鍵基準測試，引起了全球關注。 Openai首席執行官Sam Altman承認，DeepSeek已縮小Openai的技術領先優勢，促使Openai考慮加速其發佈時間表。據報導，隨著Openai每年損失數十億美元的損失，到2026年將損失提高到140億美元，更快的產品發行週期可以提高短期利潤，但可能會損害長期安全性。像Brundage這樣的專家正在質疑這種權衡是否值得。

相關文章

評論 (30)