Google的DeepMind單位說,AI超出了人類知識的發展
推進AI超越傳統測試:體驗學習的興起
人工智慧(AI)領域正充滿活力,致力於將生成式AI推向超越傳統基準的境界,例如圖靈測試,許多模型已成功通過此測試。如今的重點轉向開發不僅僅是為了通過這些測試,而是通過更動態的過程進化的AI。
Google DeepMind的研究人員,包括David Silver和Richard Sutton等傳奇人物,在其論文歡迎來到體驗時代中主張,解鎖新AI能力的關鍵不在於測試,而在於AI的訓練方式。他們認為,目前使用的靜態數據集過於有限,無法促進顯著的進展。
他們的解決方案?AI需要以更具體驗性的方式與世界互動,從互動中學習並根據環境反饋設定目標。他們斷言:「一旦充分發揮體驗學習的潛力,將湧現令人難以置信的新能力。」以AlphaZero聞名的Silver在國際象棋和圍棋上擊敗人類,而強化學習先驅Sutton則提出了一種稱為「streams」的新方法,以超越當前大型語言模型(LLMs)的限制。

Google DeepMind 從強化學習到生成式AI:轉變及其後果
在AlphaZero和AlphaGo的成功後,AI社群轉向生成式AI模型,如ChatGPT,這些模型大多放棄了強化學習。雖然這使AI能夠處理更廣泛的自發性人類輸入,但也意味著失去了強化學習所啟用的自我發現面向。
根據Silver和Sutton的說法,當前的大型語言模型在提示階段過於依賴人類判斷,這限制了它們的潛力。他們解釋說:「代理無法發現人類評估者未充分重視的更好策略。」此外,提示互動的短促、零散性質,使AI無法發展超越簡單問答交流的層次。
引入Streams:AI學習的新範式
所提出的「體驗時代」涉及AI代理在連續互動的「streams」中運作,類似於人類在一生中學習的方式。Silver和Sutton設想AI代理擁有自己的長期體驗流,使其能夠追求超越即時任務的目標。
這種方法建立在強化學習的基礎上,AI代理與世界模型互動,以獎勵的形式接收反饋。這些獎勵幫助AI學習在不同情境下哪些行動是有價值的。研究人員指出,世界充滿了可作為獎勵的信號,從經濟指標到健康數據。
打造具有長期目標的AI代理
為了啟動這一過程,AI開發者可以使用「世界模型」模擬,讓AI進行預測、在現實中測試並根據結果完善其模型。隨著AI持續與世界互動,其理解會不斷進化,適應新數據並糾正錯誤。
人類仍將在設定廣泛目標方面發揮作用,例如改善健康或學習新語言,AI的獎勵函數將與這些目標保持一致。這種設置可能促成AI助手,長期追蹤並建議健康或教育相關事宜,甚至追求發現新材料或減少碳排放等雄心勃勃的科學目標。
AI的未來:超越推理到體驗學習
研究人員相信,能夠進行長期體驗學習的AI代理,可能超越當前的「推理」AI模型,如Gemini和DeepSeek的R1。他們認為,推理模型常常模仿人類思維,可能受到過時假設的限制。相比之下,體驗式代理可能解鎖前所未有的能力,引領與我們所見截然不同的未來。
然而,這種轉變也帶來風險,例如工作崗位流失以及控制長期自主運作的AI代理的挑戰。另一方面,適應性強的AI可以通過根據反饋調整行為,來學習減輕對人類的負面影響。
Silver和Sutton相信,體驗數據的規模和質量將遠超人類生成的數據,可能引領人工通用智慧或超智慧的實現。這種範式轉變,結合強化學習的進展,可能在許多領域解鎖超越人類能力的潛力。
Silver在最近的DeepMind播客中進一步討論了這些想法,強調了將AI推向體驗時代的潛力和挑戰。
相關文章
前OpenAI首席科學家Ilya的SSI首次釋出模型
AI 取得了另一項重大里程碑。在從 OpenAI 離職後,前首席科學家伊利亞·蘇茨克弗(Ilya Sutskever)創立了 Safe Superintelligence Inc.(SSI),該公司最近公佈了其首個模型的詳細資訊。海外社交媒體上的報道指出,該團隊正在利用 TTT(測試時訓練)開發一個緊湊的推理引擎,這是他們在追求安全超級智慧過程中的關鍵進展。這種新穎的架構專注於使模型能夠“學習如何學習”。與在推理過程中保持引數靜態的傳統大型語言模型不同,該引擎在處理現實世界任務時會動態更新特定
Lovable Leads Atech's Seed Round as AI Ambient Coding Officially Enters the Hardware Field
2026年5月14日,AI應用開發平臺Lovable宣佈參與丹麥硬體初創公司Atech的80萬美元種子輪融資。該輪由Lovable領投,吸引了包括a16z Scout Fund、Sequoia Scout Fund以及Nordic Makers在內的頂級風險投資機構。此次投資標誌著Lovable將“Vibe Coding”概念從純軟體開發戰略擴充套件至硬體工程領域。Atech旨在透過AI驅動的互動式平臺簡化複雜的硬體原型製作。使用者購買基礎硬體套件,並透過AI聊天機器人以自然語言描述其設計概念;系統
Anthropic 將 Claude AI 編碼工具擴充套件至日本,以推動海外增長
Anthropic,一家美國知名的人工智慧公司,正加強其全球推廣力度。週三,該公司在東京舉辦了一場大型開發者活動“Code with Claude”,吸引了近500名軟體工程師參加。該舉措旨在積極將Claude AI工具及相關產品引入日本市場,強調其自主編碼能力在提升企業生產力方面的核心優勢。強調自動化程式碼生成在活動中,Anthropic展示了其先進的自主編碼系統,該系統能夠獨立處理複雜的程式設計任務並最佳化現有程式碼結構。隨著全球對高效開發工具的需求不斷增長,Anthropic希望透過此類活動加強
相關專題推薦
評論 (14)
0/500
So AI is now smarter than us? Guess we'll just have to sit back and let them solve all our problems. 😅 But seriously, experiential learning sounds cool but also a bit scary. Hope they keep the off-switch handy.
Этот пост заставил меня задуматься о будущем ИИ. Возможно, мы скоро увидим ИИ, который не просто имитирует человека, а создаёт что-то действительно новое. Но не приведёт ли это к тому, что ИИ станет непонятным для нас? 🤔
C'est fascinant de voir l'IA évoluer au-delà des tests classiques ! 😮 Est-ce que cette approche d'apprentissage expérientiel pourrait un jour mener à des systèmes vraiment conscients ? Un peu flippant mais excitant à la fois.
Прочитал статью, и это напомнило мне дискуссии о технологической сингулярности. Когда ИИ начинает обучаться на опыте, а не просто тестах, возникает вопрос: а кто контролирует этот процесс? 🤔 Интересно, как это повлияет на безопасность в долгосрочной перспективе. Возможно, нам стоит больше внимания уделять этическим нормам, прежде чем это выйдет из-под контроля.
It's wild how AI is outpacing human knowledge! DeepMind's push for experiential learning sounds like sci-fi coming to life. Can't wait to see where this takes us, but I hope they keep ethics in check! 😎
推進AI超越傳統測試:體驗學習的興起
人工智慧(AI)領域正充滿活力,致力於將生成式AI推向超越傳統基準的境界,例如圖靈測試,許多模型已成功通過此測試。如今的重點轉向開發不僅僅是為了通過這些測試,而是通過更動態的過程進化的AI。
Google DeepMind的研究人員,包括David Silver和Richard Sutton等傳奇人物,在其論文歡迎來到體驗時代中主張,解鎖新AI能力的關鍵不在於測試,而在於AI的訓練方式。他們認為,目前使用的靜態數據集過於有限,無法促進顯著的進展。
他們的解決方案?AI需要以更具體驗性的方式與世界互動,從互動中學習並根據環境反饋設定目標。他們斷言:「一旦充分發揮體驗學習的潛力,將湧現令人難以置信的新能力。」以AlphaZero聞名的Silver在國際象棋和圍棋上擊敗人類,而強化學習先驅Sutton則提出了一種稱為「streams」的新方法,以超越當前大型語言模型(LLMs)的限制。
從強化學習到生成式AI:轉變及其後果
在AlphaZero和AlphaGo的成功後,AI社群轉向生成式AI模型,如ChatGPT,這些模型大多放棄了強化學習。雖然這使AI能夠處理更廣泛的自發性人類輸入,但也意味著失去了強化學習所啟用的自我發現面向。
根據Silver和Sutton的說法,當前的大型語言模型在提示階段過於依賴人類判斷,這限制了它們的潛力。他們解釋說:「代理無法發現人類評估者未充分重視的更好策略。」此外,提示互動的短促、零散性質,使AI無法發展超越簡單問答交流的層次。
引入Streams:AI學習的新範式
所提出的「體驗時代」涉及AI代理在連續互動的「streams」中運作,類似於人類在一生中學習的方式。Silver和Sutton設想AI代理擁有自己的長期體驗流,使其能夠追求超越即時任務的目標。
這種方法建立在強化學習的基礎上,AI代理與世界模型互動,以獎勵的形式接收反饋。這些獎勵幫助AI學習在不同情境下哪些行動是有價值的。研究人員指出,世界充滿了可作為獎勵的信號,從經濟指標到健康數據。
打造具有長期目標的AI代理
為了啟動這一過程,AI開發者可以使用「世界模型」模擬,讓AI進行預測、在現實中測試並根據結果完善其模型。隨著AI持續與世界互動,其理解會不斷進化,適應新數據並糾正錯誤。
人類仍將在設定廣泛目標方面發揮作用,例如改善健康或學習新語言,AI的獎勵函數將與這些目標保持一致。這種設置可能促成AI助手,長期追蹤並建議健康或教育相關事宜,甚至追求發現新材料或減少碳排放等雄心勃勃的科學目標。
AI的未來:超越推理到體驗學習
研究人員相信,能夠進行長期體驗學習的AI代理,可能超越當前的「推理」AI模型,如Gemini和DeepSeek的R1。他們認為,推理模型常常模仿人類思維,可能受到過時假設的限制。相比之下,體驗式代理可能解鎖前所未有的能力,引領與我們所見截然不同的未來。
然而,這種轉變也帶來風險,例如工作崗位流失以及控制長期自主運作的AI代理的挑戰。另一方面,適應性強的AI可以通過根據反饋調整行為,來學習減輕對人類的負面影響。
Silver和Sutton相信,體驗數據的規模和質量將遠超人類生成的數據,可能引領人工通用智慧或超智慧的實現。這種範式轉變,結合強化學習的進展,可能在許多領域解鎖超越人類能力的潛力。
Silver在最近的DeepMind播客中進一步討論了這些想法,強調了將AI推向體驗時代的潛力和挑戰。
前OpenAI首席科學家Ilya的SSI首次釋出模型
AI 取得了另一項重大里程碑。在從 OpenAI 離職後,前首席科學家伊利亞·蘇茨克弗(Ilya Sutskever)創立了 Safe Superintelligence Inc.(SSI),該公司最近公佈了其首個模型的詳細資訊。海外社交媒體上的報道指出,該團隊正在利用 TTT(測試時訓練)開發一個緊湊的推理引擎,這是他們在追求安全超級智慧過程中的關鍵進展。這種新穎的架構專注於使模型能夠“學習如何學習”。與在推理過程中保持引數靜態的傳統大型語言模型不同,該引擎在處理現實世界任務時會動態更新特定
Lovable Leads Atech's Seed Round as AI Ambient Coding Officially Enters the Hardware Field
2026年5月14日,AI應用開發平臺Lovable宣佈參與丹麥硬體初創公司Atech的80萬美元種子輪融資。該輪由Lovable領投,吸引了包括a16z Scout Fund、Sequoia Scout Fund以及Nordic Makers在內的頂級風險投資機構。此次投資標誌著Lovable將“Vibe Coding”概念從純軟體開發戰略擴充套件至硬體工程領域。Atech旨在透過AI驅動的互動式平臺簡化複雜的硬體原型製作。使用者購買基礎硬體套件,並透過AI聊天機器人以自然語言描述其設計概念;系統
Anthropic 將 Claude AI 編碼工具擴充套件至日本,以推動海外增長
Anthropic,一家美國知名的人工智慧公司,正加強其全球推廣力度。週三,該公司在東京舉辦了一場大型開發者活動“Code with Claude”,吸引了近500名軟體工程師參加。該舉措旨在積極將Claude AI工具及相關產品引入日本市場,強調其自主編碼能力在提升企業生產力方面的核心優勢。強調自動化程式碼生成在活動中,Anthropic展示了其先進的自主編碼系統,該系統能夠獨立處理複雜的程式設計任務並最佳化現有程式碼結構。隨著全球對高效開發工具的需求不斷增長,Anthropic希望透過此類活動加強
So AI is now smarter than us? Guess we'll just have to sit back and let them solve all our problems. 😅 But seriously, experiential learning sounds cool but also a bit scary. Hope they keep the off-switch handy.
Этот пост заставил меня задуматься о будущем ИИ. Возможно, мы скоро увидим ИИ, который не просто имитирует человека, а создаёт что-то действительно новое. Но не приведёт ли это к тому, что ИИ станет непонятным для нас? 🤔
C'est fascinant de voir l'IA évoluer au-delà des tests classiques ! 😮 Est-ce que cette approche d'apprentissage expérientiel pourrait un jour mener à des systèmes vraiment conscients ? Un peu flippant mais excitant à la fois.
Прочитал статью, и это напомнило мне дискуссии о технологической сингулярности. Когда ИИ начинает обучаться на опыте, а не просто тестах, возникает вопрос: а кто контролирует этот процесс? 🤔 Интересно, как это повлияет на безопасность в долгосрочной перспективе. Возможно, нам стоит больше внимания уделять этическим нормам, прежде чем это выйдет из-под контроля.
It's wild how AI is outpacing human knowledge! DeepMind's push for experiential learning sounds like sci-fi coming to life. Can't wait to see where this takes us, but I hope they keep ethics in check! 😎





首頁






