Google的DeepMind單位說，AI超出了人類知識的發展

推進AI超越傳統測試：體驗學習的興起

人工智慧（AI）領域正充滿活力，致力於將生成式AI推向超越傳統基準的境界，例如圖靈測試，許多模型已成功通過此測試。如今的重點轉向開發不僅僅是為了通過這些測試，而是通過更動態的過程進化的AI。

Google DeepMind的研究人員，包括David Silver和Richard Sutton等傳奇人物，在其論文歡迎來到體驗時代中主張，解鎖新AI能力的關鍵不在於測試，而在於AI的訓練方式。他們認為，目前使用的靜態數據集過於有限，無法促進顯著的進展。

他們的解決方案？AI需要以更具體驗性的方式與世界互動，從互動中學習並根據環境反饋設定目標。他們斷言：「一旦充分發揮體驗學習的潛力，將湧現令人難以置信的新能力。」以AlphaZero聞名的Silver在國際象棋和圍棋上擊敗人類，而強化學習先驅Sutton則提出了一種稱為「streams」的新方法，以超越當前大型語言模型（LLMs）的限制。

從強化學習到生成式AI：轉變及其後果

在AlphaZero和AlphaGo的成功後，AI社群轉向生成式AI模型，如ChatGPT，這些模型大多放棄了強化學習。雖然這使AI能夠處理更廣泛的自發性人類輸入，但也意味著失去了強化學習所啟用的自我發現面向。

根據Silver和Sutton的說法，當前的大型語言模型在提示階段過於依賴人類判斷，這限制了它們的潛力。他們解釋說：「代理無法發現人類評估者未充分重視的更好策略。」此外，提示互動的短促、零散性質，使AI無法發展超越簡單問答交流的層次。

引入Streams：AI學習的新範式

所提出的「體驗時代」涉及AI代理在連續互動的「streams」中運作，類似於人類在一生中學習的方式。Silver和Sutton設想AI代理擁有自己的長期體驗流，使其能夠追求超越即時任務的目標。

這種方法建立在強化學習的基礎上，AI代理與世界模型互動，以獎勵的形式接收反饋。這些獎勵幫助AI學習在不同情境下哪些行動是有價值的。研究人員指出，世界充滿了可作為獎勵的信號，從經濟指標到健康數據。

打造具有長期目標的AI代理

為了啟動這一過程，AI開發者可以使用「世界模型」模擬，讓AI進行預測、在現實中測試並根據結果完善其模型。隨著AI持續與世界互動，其理解會不斷進化，適應新數據並糾正錯誤。

人類仍將在設定廣泛目標方面發揮作用，例如改善健康或學習新語言，AI的獎勵函數將與這些目標保持一致。這種設置可能促成AI助手，長期追蹤並建議健康或教育相關事宜，甚至追求發現新材料或減少碳排放等雄心勃勃的科學目標。

AI的未來：超越推理到體驗學習

研究人員相信，能夠進行長期體驗學習的AI代理，可能超越當前的「推理」AI模型，如Gemini和DeepSeek的R1。他們認為，推理模型常常模仿人類思維，可能受到過時假設的限制。相比之下，體驗式代理可能解鎖前所未有的能力，引領與我們所見截然不同的未來。

然而，這種轉變也帶來風險，例如工作崗位流失以及控制長期自主運作的AI代理的挑戰。另一方面，適應性強的AI可以通過根據反饋調整行為，來學習減輕對人類的負面影響。

Silver和Sutton相信，體驗數據的規模和質量將遠超人類生成的數據，可能引領人工通用智慧或超智慧的實現。這種範式轉變，結合強化學習的進展，可能在許多領域解鎖超越人類能力的潛力。

Silver在最近的DeepMind播客中進一步討論了這些想法，強調了將AI推向體驗時代的潛力和挑戰。