李飛飛團隊揭曉一種方法,可從單一影片生成無限多的機器人訓練場地
在具身智慧領域中,彌合模擬與現實之間的鴻溝——即所謂的「Sim2Real」——長期以來一直是難以克服的障礙。模擬系統成本高昂,且模型在實際環境中部署時,性能往往會下降。 李飛飛團隊、NVIDIA GEAR Lab 以及喬治亞理工學院近期共同發表的一項研究,提出了一種嶄新的解決方案:Real2Sim。
這套名為「SimFoundry」的系統,能利用簡單的真實世界影片,建立互動式、可訓練且可測試的機器人模擬。SimFoundry 不僅超越傳統的 3D 重建技術,更透過深度場景分析來自動化環境建構,大幅降低建立模擬所需的工時。

SimFoundry 的核心創新在於「數位孿生」與「數位同源體」之間的閉環機制。 該系統從影片中擷取幾何、物理及互動數據,以建構高保真度的數位孿生;隨後自動變更外觀、佈局與任務,生成多樣化的數位表親。這使開發者能從單一影片中獲取幾乎無限的訓練數據,並在模擬環境中實現端到端的策略學習與評估。
實驗證實 SimFoundry 具備強大的預測能力,模擬機器人的表現與實際結果高度吻合。關鍵在於,基於這類合成數據訓練出的策略無需微調即可有效轉移至現實世界(「零樣本學習」),並在多步驟操作和雙臂協調等複雜任務中表現卓越。
這套開源系統由頂尖機器人專家共同開發,包括 NVIDIA GEAR Lab 及李飛飛團隊的核心成員,有望徹底改變具身人工智慧的開發模式。透過以生成式技術取代耗費鉅資的手動資料蒐集,機器人現已能更快地從實驗室轉向實際應用。
論文連結:https://arxiv.org/pdf/2606.28276v1
相關文章
參議院要求資料中心公開電費賬單
兩位美國參議員加大了對資料中心及其能源消耗的打擊力度,於週四致信美國能源資訊管理局(EIA)。參議員喬什·霍利(Josh Hawley)和伊麗莎白·沃倫(Elizabeth Warren)要求該機構收集關於資料中心能源使用及其對電網影響的詳細資訊。據《TechCrunch》審閱的信件顯示,參議員們敦促 EIA “為資料中心和其他大型負荷建立強制性年度報告要求。” 他們認為,“隨著電力需求增長在多年相對停滯後繼續加速,缺乏關於大型負荷能源消耗的可靠、標準化資料,對有效的電網規劃和監管構成了重大風
米拉·穆拉蒂以謹慎的姿態重新回到聚光燈下
Mira Murati 從來就不適合參加各類會議。作為 OpenAI 的技術長,她一直主要處於幕後,很少擔任公司的公眾代言人。如今,她領導著自己的新公司 Thinking Machines Lab,顯得更加神秘莫測。週四她在舊金山接受彭博社的採訪——這是她大約 18 個月來的首次重大媒體亮相——引發了廣泛關注,儘管她小心翼翼地避免了過度披露資訊。這一時機與她的戰略相吻合。在過去的約 18 個月裡,Thinking Machines 一直在幕後低調運營:籌集資金、招募頂尖研究人員,並推出了一
Adobe 創作者報告:80% 受訪者表示 AI 推動了粉絲數與業務的成長
隨著人工智慧加速全球擴張,內容創作領域正經歷根本性的轉變。創意人工智慧工具不再僅僅是工作流程的輔助工具;它們正推動業務成長,並協助創作者拓展更廣大的受眾群體。提升生產力與競爭優勢Adobe 近期發布的《2026 年創作者工具包報告》針對全球 16,000 名創作者進行了調查,結果顯示 75% 的受訪者現已將創意 AI 作為其工作流程的核心組成部分。AI 的整合大幅縮短了製作時間,直接提升了商業成功
相關專題推薦
評論 (0)
0/500
在具身智慧領域中,彌合模擬與現實之間的鴻溝——即所謂的「Sim2Real」——長期以來一直是難以克服的障礙。模擬系統成本高昂,且模型在實際環境中部署時,性能往往會下降。 李飛飛團隊、NVIDIA GEAR Lab 以及喬治亞理工學院近期共同發表的一項研究,提出了一種嶄新的解決方案:Real2Sim。
這套名為「SimFoundry」的系統,能利用簡單的真實世界影片,建立互動式、可訓練且可測試的機器人模擬。SimFoundry 不僅超越傳統的 3D 重建技術,更透過深度場景分析來自動化環境建構,大幅降低建立模擬所需的工時。

SimFoundry 的核心創新在於「數位孿生」與「數位同源體」之間的閉環機制。 該系統從影片中擷取幾何、物理及互動數據,以建構高保真度的數位孿生;隨後自動變更外觀、佈局與任務,生成多樣化的數位表親。這使開發者能從單一影片中獲取幾乎無限的訓練數據,並在模擬環境中實現端到端的策略學習與評估。
實驗證實 SimFoundry 具備強大的預測能力,模擬機器人的表現與實際結果高度吻合。關鍵在於,基於這類合成數據訓練出的策略無需微調即可有效轉移至現實世界(「零樣本學習」),並在多步驟操作和雙臂協調等複雜任務中表現卓越。
這套開源系統由頂尖機器人專家共同開發,包括 NVIDIA GEAR Lab 及李飛飛團隊的核心成員,有望徹底改變具身人工智慧的開發模式。透過以生成式技術取代耗費鉅資的手動資料蒐集,機器人現已能更快地從實驗室轉向實際應用。
論文連結:https://arxiv.org/pdf/2606.28276v1
參議院要求資料中心公開電費賬單
兩位美國參議員加大了對資料中心及其能源消耗的打擊力度,於週四致信美國能源資訊管理局(EIA)。參議員喬什·霍利(Josh Hawley)和伊麗莎白·沃倫(Elizabeth Warren)要求該機構收集關於資料中心能源使用及其對電網影響的詳細資訊。據《TechCrunch》審閱的信件顯示,參議員們敦促 EIA “為資料中心和其他大型負荷建立強制性年度報告要求。” 他們認為,“隨著電力需求增長在多年相對停滯後繼續加速,缺乏關於大型負荷能源消耗的可靠、標準化資料,對有效的電網規劃和監管構成了重大風
米拉·穆拉蒂以謹慎的姿態重新回到聚光燈下
Mira Murati 從來就不適合參加各類會議。作為 OpenAI 的技術長,她一直主要處於幕後,很少擔任公司的公眾代言人。如今,她領導著自己的新公司 Thinking Machines Lab,顯得更加神秘莫測。週四她在舊金山接受彭博社的採訪——這是她大約 18 個月來的首次重大媒體亮相——引發了廣泛關注,儘管她小心翼翼地避免了過度披露資訊。這一時機與她的戰略相吻合。在過去的約 18 個月裡,Thinking Machines 一直在幕後低調運營:籌集資金、招募頂尖研究人員,並推出了一
Adobe 創作者報告:80% 受訪者表示 AI 推動了粉絲數與業務的成長
隨著人工智慧加速全球擴張,內容創作領域正經歷根本性的轉變。創意人工智慧工具不再僅僅是工作流程的輔助工具;它們正推動業務成長,並協助創作者拓展更廣大的受眾群體。提升生產力與競爭優勢Adobe 近期發布的《2026 年創作者工具包報告》針對全球 16,000 名創作者進行了調查,結果顯示 75% 的受訪者現已將創意 AI 作為其工作流程的核心組成部分。AI 的整合大幅縮短了製作時間,直接提升了商業成功





首頁






