Nvidia藉雲端技術推進人形機器人發展
輝達正全力衝刺進入人形機器人領域,而且毫不猶豫。在台灣舉辦的2025年 COMPUTEX 展覽會上,他們揭曉了一系列將重新定義機器人開發領域的創新技術。其中,最引人注目的就是輝達 Isaac GR00T N1.5,這是輝達開放且完全可定制的人形推理和技能基礎模型的最新迭代。此外,輝達還推出了 Isaaс GR00T-Dreams,這是一個設計來生成合成運動數據的藍圖,以及強大的 Nvidia Blackwell 系統,這些系統旨在加速人形機器人的開發。
包括 Agilit yRobotics、Boston Dynamics、Fourier、Foxlink、Galbot、Mentee Robotics、NEURA Robotics、General Robotics、Skild AI 和 XPENG Robotics 在內的多家領先的人形和機器人開發商已經加入,利用輝達的 Isaac 平台技術,推動人形機器人的可能性邊界。
輝達首席執行官黃仁勛難掩興奮之情,表示:「物理人工智能和機器人將帶來下一場工業革命。從機器人的AI大腦,到模擬世界進行練習,或用於訓練基礎模型的AI超級計算機,輝達為機器人開發的每一個階段提供了構建模塊。」
新的 Isaac GR00T 數據生成藍圖彌補了數據缺口
是否想過擁有自己的人形機器人?在COMPUTEX 的主題演講中,黃展示了輝達 Isaac GR00T-Dreams,這是一種改變遊戲規則的藍圖,可以生成大量的合成運動數據或神經軌跡。對於物理人工智能開發者來說,這些數據就像一筆寶藏,幫助他們教導機器人一系列新行為,並適應不斷變化的環境。
這個過程始於開發者對其機器人進行 Cosmos 預測世界基礎模型(WFMs)的後期訓練。然後,只需一張圖片作為輸入,GR00T-Dreams 就能生成視頻,展示機器人在新環境中完成新任務的情景。接著,它提取行動令牌——易於消化的小型數據片段,供機器人學習這些新任務。
GR00T-Dreams 與之前在三月份的 NVIDIA GTC 大會上推出的 Isaac GR00T-Mimic 藍圖相輔相成。雖然 GR00T-Mimic 利用 NVIDIA Omniverse 和 NVIDIA Cosmos 增強現有數據,但 GR00T-Dreams 使用 Cosmos 從零開始創建全新數據。
NVIDIA 的 AI 主任兼傑出科學家 Jim Fan 在新聞簡報中分享了他的熱情,「NVIDIA 擁有一個非常強大的機器人戰略,圍繞著黃所稱的三個計算問題。」他解釋說,OVX 電腦負責模擬和圖形模擬物理引擎,生成數據,然後 DGX 電腦使用這些數據來訓練基礎模型。這些數據隨後部署到 HX 電腦上,HX 電腦在邊緣運行,為像人形機器人這樣的平台服務。
Fan 驕傲地提到 Gr00t 是物理人工智能和基於機器人的工作流程的生命週期,強調:「這是三個計算問題的具體實例。」他指出 Project Gr00t 的兩個主要進展:Gr00t Dreams 和 Gr00t N1.5,開玩笑地說他對這些名字感到非常自豪。
對於 Gr00t Dreams,Fan 描述它是一個生成視頻來訓練機器人的模型。他展示了許多由 NVIDIA Cosmos 生成的視頻,解釋道:「我們找到了一種方法,將先進的視頻生成模型如 Cosmos 應用於幫助人形機器人。所以從高層次上看,這個方法的工作原理是我們首先在實驗室的機器人視頻上微調 Cosmos,這樣這個視頻模型現在就定制到了我們實驗室的機器人。然後,我們可以使用這個微調模型,通過以不同方式提示模型來生成無限數量的夢幻視頻。現在這些成為合成數據,增強我們真實機器人的數據集。正如許多人可能知道的那樣,收集真實機器人的數據非常耗時且昂貴,因為你本質上每天每台機器人都受到24小時的限制,對吧?它是物理系統,但有了 Gr00t Dreams,這個新的工作流程,這套新算法,現在我們能夠突破這個基本的物理限制,並以前所未有的規模擴展數據。」
結果呢?無論是拾取黃瓜、倒橙汁還是打開筆記本電腦,機器人都能正確完成這些動作。Fan 指出,這些是機器人未曾接受過訓練的動作,但由於視頻模型的訓練,機器人能夠「理解這些動詞的物理意義和含義」並學會執行它們。
新的 Isaac GR00T 模型推動人形機器人發展
Nvidia 的 GR00T-Dreams 藍圖不僅僅是空談;它已經投入實際應用,生成合成訓練數據,僅用36小時就開發出了 GR00T N1.5——這個任務若沒有藍圖可能需要近三個月。GR00T N1.5 現在可以更好地適應新環境和工作空間配置,並且能通過用戶指令識別物體。這一更新顯著提高了模型在常見任務(如分類或整理物品)中的成功率,並且已經準備好在即將推出的 Jetson Thor 上部署,該產品預計今年晚些時候推出。
GR00T N1.5 基礎模型將 Gr00t Dreams 整合到其合成數據生成管道中。根據 Fan 的說法,Nvidia 升級了視覺語言主幹,確保 GR00T N1.5 將具有優異的適應性和更好的語言指令遵守能力。
GR00T N1.5 將於 COMPUTEX 首次亮相,並於6月9日作為開源發佈。至於 Gr00t Dreams,Nvidia 仍在細化時間表,但目標是盡可能多地開源,Fan 表示。
GR00T N 的早期採用者包括 AeiRobot、Foxlink、Lightwheel 和 NEURA Robotics。AeiRobot 正在使用該模型讓 ALICE4 理解自然語言指令並在工業環境中執行複雜的拾取和放置工作流程。Foxlink 集團正在利用它來提高工業機器人操作器的靈活性和效率,而 Lightwheel 正在驗證合成數據,以加快工廠中人形機器人的部署。NEURA Robotics 正在探索該模型,以加速其家庭自動化的開發。
新的機器人模擬和數據生成框架加速訓練管道
創造高度專業的人形機器人不僅僅是關於硬體;還需要給它們大量多樣的數據,這可能會很昂貴且耗時來收集和處理。此外,在現實世界中測試機器人也有其自身的挑戰和風險。
為了解決這些差距,Nvidia 推出了多項模擬技術:
- Nvidia Cosmos Reason,一種新的 WFM,使用鏈式思考推理來幫助策劃準確且高質量的合成數據,用於物理人工智能模型的訓練,現在已在 Hugging Face 上可用。
- Cosmos Predict 2,在 GR00T Dreams 中使用,即將在 Hugging Face 上推出,性能增強,用於高質量的世界生成和減少幻覺。
- Nvidia Isaac GR00T-Mimic,一種藍圖,可以用少數人類示範生成指數級別的合成運動軌跡,用於機器人操作。
- 开源物理人工智能数据集,现在包含24,000个高质量的人形机器人运动轨迹,用于开发GR00T N模型。
- Nvidia Isaac Sim 5.0,一种模拟和合成数据生成框架,现在在GitHub上公开可用。
- Nvidia Isaac Lab 2.2,一个开源机器人学习框架,将包括新的评估环境,以帮助开发者测试GR00T N模型。
富士康和富聯科技已經在使用GR00T-Mimic藍圖來加速其機器人訓練管道。同時,Agility Robotics、Boston Dynamics、Fourier、Mentee Robotics、NEURA Robotics和XPENG Robotics正在使用
相關文章
新研究揭示大規模語言模型實際記憶的數據量
AI模型實際記憶多少?新研究揭示驚人見解我們都知道,像ChatGPT、Claude和Gemini這樣的大規模語言模型(LLMs)是在龐大數據集上訓練的——來自書籍、網站、程式碼,甚至圖像和音頻等多媒體的數兆字詞。但這些數據到底發生了什麼?這些模型真的理解語言,還是僅僅在重複記憶的片段?來自Meta、Google DeepMind、Cornell和NVIDIA的一項突破性新研究終於給出了具體答案——
NVIDIA提供AI工廠數位雙生藍圖
NVIDIA揭曉AI工廠數位雙生藍圖重大擴展在2025年台北Computex的重大宣布中,NVIDIA大幅擴展了其AI工廠數位雙生藍圖的範圍,現 Facetune with AI工廠數位雙生的需求激增,推動了數位基礎設施的可能邊界。新合作夥伴推動AI工廠生態系統藍圖已通過與AI工廠電力、冷卻和網路生態系統的新合作得到增強。Delta Electronics、Jacobs和Siemens等行業巨頭與
從 MIPS 到艾弗洛普僅僅數十年:計算能力正在爆炸,將改變 AI
在最近的 Nvidia GTC 大會上,這家科技巨頭揭露了一項突破性成就:首個單機架伺服器系統能達到一艾弗洛普。這是一個令人震驚的每秒十億億次浮點運算(FLOPS)。這項壯舉由 Nvidia 最新的 GB200 NVL72 系統驅動,搭載尖端的 Blackwell 圖形處理單元(GPU)。為了讓大家更直觀理解,這個系統安裝在一個標準電腦機架中,大約 6 英尺高,略超過 3 英尺深,寬度不到 2 英
評論 (0)
0/200
輝達正全力衝刺進入人形機器人領域,而且毫不猶豫。在台灣舉辦的2025年 COMPUTEX 展覽會上,他們揭曉了一系列將重新定義機器人開發領域的創新技術。其中,最引人注目的就是輝達 Isaac GR00T N1.5,這是輝達開放且完全可定制的人形推理和技能基礎模型的最新迭代。此外,輝達還推出了 Isaaс GR00T-Dreams,這是一個設計來生成合成運動數據的藍圖,以及強大的 Nvidia Blackwell 系統,這些系統旨在加速人形機器人的開發。
包括 Agilit yRobotics、Boston Dynamics、Fourier、Foxlink、Galbot、Mentee Robotics、NEURA Robotics、General Robotics、Skild AI 和 XPENG Robotics 在內的多家領先的人形和機器人開發商已經加入,利用輝達的 Isaac 平台技術,推動人形機器人的可能性邊界。
輝達首席執行官黃仁勛難掩興奮之情,表示:「物理人工智能和機器人將帶來下一場工業革命。從機器人的AI大腦,到模擬世界進行練習,或用於訓練基礎模型的AI超級計算機,輝達為機器人開發的每一個階段提供了構建模塊。」
新的 Isaac GR00T 數據生成藍圖彌補了數據缺口
是否想過擁有自己的人形機器人?在COMPUTEX 的主題演講中,黃展示了輝達 Isaac GR00T-Dreams,這是一種改變遊戲規則的藍圖,可以生成大量的合成運動數據或神經軌跡。對於物理人工智能開發者來說,這些數據就像一筆寶藏,幫助他們教導機器人一系列新行為,並適應不斷變化的環境。
這個過程始於開發者對其機器人進行 Cosmos 預測世界基礎模型(WFMs)的後期訓練。然後,只需一張圖片作為輸入,GR00T-Dreams 就能生成視頻,展示機器人在新環境中完成新任務的情景。接著,它提取行動令牌——易於消化的小型數據片段,供機器人學習這些新任務。
GR00T-Dreams 與之前在三月份的 NVIDIA GTC 大會上推出的 Isaac GR00T-Mimic 藍圖相輔相成。雖然 GR00T-Mimic 利用 NVIDIA Omniverse 和 NVIDIA Cosmos 增強現有數據,但 GR00T-Dreams 使用 Cosmos 從零開始創建全新數據。
NVIDIA 的 AI 主任兼傑出科學家 Jim Fan 在新聞簡報中分享了他的熱情,「NVIDIA 擁有一個非常強大的機器人戰略,圍繞著黃所稱的三個計算問題。」他解釋說,OVX 電腦負責模擬和圖形模擬物理引擎,生成數據,然後 DGX 電腦使用這些數據來訓練基礎模型。這些數據隨後部署到 HX 電腦上,HX 電腦在邊緣運行,為像人形機器人這樣的平台服務。
Fan 驕傲地提到 Gr00t 是物理人工智能和基於機器人的工作流程的生命週期,強調:「這是三個計算問題的具體實例。」他指出 Project Gr00t 的兩個主要進展:Gr00t Dreams 和 Gr00t N1.5,開玩笑地說他對這些名字感到非常自豪。
對於 Gr00t Dreams,Fan 描述它是一個生成視頻來訓練機器人的模型。他展示了許多由 NVIDIA Cosmos 生成的視頻,解釋道:「我們找到了一種方法,將先進的視頻生成模型如 Cosmos 應用於幫助人形機器人。所以從高層次上看,這個方法的工作原理是我們首先在實驗室的機器人視頻上微調 Cosmos,這樣這個視頻模型現在就定制到了我們實驗室的機器人。然後,我們可以使用這個微調模型,通過以不同方式提示模型來生成無限數量的夢幻視頻。現在這些成為合成數據,增強我們真實機器人的數據集。正如許多人可能知道的那樣,收集真實機器人的數據非常耗時且昂貴,因為你本質上每天每台機器人都受到24小時的限制,對吧?它是物理系統,但有了 Gr00t Dreams,這個新的工作流程,這套新算法,現在我們能夠突破這個基本的物理限制,並以前所未有的規模擴展數據。」
結果呢?無論是拾取黃瓜、倒橙汁還是打開筆記本電腦,機器人都能正確完成這些動作。Fan 指出,這些是機器人未曾接受過訓練的動作,但由於視頻模型的訓練,機器人能夠「理解這些動詞的物理意義和含義」並學會執行它們。
新的 Isaac GR00T 模型推動人形機器人發展
Nvidia 的 GR00T-Dreams 藍圖不僅僅是空談;它已經投入實際應用,生成合成訓練數據,僅用36小時就開發出了 GR00T N1.5——這個任務若沒有藍圖可能需要近三個月。GR00T N1.5 現在可以更好地適應新環境和工作空間配置,並且能通過用戶指令識別物體。這一更新顯著提高了模型在常見任務(如分類或整理物品)中的成功率,並且已經準備好在即將推出的 Jetson Thor 上部署,該產品預計今年晚些時候推出。
GR00T N1.5 基礎模型將 Gr00t Dreams 整合到其合成數據生成管道中。根據 Fan 的說法,Nvidia 升級了視覺語言主幹,確保 GR00T N1.5 將具有優異的適應性和更好的語言指令遵守能力。
GR00T N1.5 將於 COMPUTEX 首次亮相,並於6月9日作為開源發佈。至於 Gr00t Dreams,Nvidia 仍在細化時間表,但目標是盡可能多地開源,Fan 表示。
GR00T N 的早期採用者包括 AeiRobot、Foxlink、Lightwheel 和 NEURA Robotics。AeiRobot 正在使用該模型讓 ALICE4 理解自然語言指令並在工業環境中執行複雜的拾取和放置工作流程。Foxlink 集團正在利用它來提高工業機器人操作器的靈活性和效率,而 Lightwheel 正在驗證合成數據,以加快工廠中人形機器人的部署。NEURA Robotics 正在探索該模型,以加速其家庭自動化的開發。
新的機器人模擬和數據生成框架加速訓練管道
創造高度專業的人形機器人不僅僅是關於硬體;還需要給它們大量多樣的數據,這可能會很昂貴且耗時來收集和處理。此外,在現實世界中測試機器人也有其自身的挑戰和風險。
為了解決這些差距,Nvidia 推出了多項模擬技術:
- Nvidia Cosmos Reason,一種新的 WFM,使用鏈式思考推理來幫助策劃準確且高質量的合成數據,用於物理人工智能模型的訓練,現在已在 Hugging Face 上可用。
- Cosmos Predict 2,在 GR00T Dreams 中使用,即將在 Hugging Face 上推出,性能增強,用於高質量的世界生成和減少幻覺。
- Nvidia Isaac GR00T-Mimic,一種藍圖,可以用少數人類示範生成指數級別的合成運動軌跡,用於機器人操作。
- 开源物理人工智能数据集,现在包含24,000个高质量的人形机器人运动轨迹,用于开发GR00T N模型。
- Nvidia Isaac Sim 5.0,一种模拟和合成数据生成框架,现在在GitHub上公开可用。
- Nvidia Isaac Lab 2.2,一个开源机器人学习框架,将包括新的评估环境,以帮助开发者测试GR00T N模型。
富士康和富聯科技已經在使用GR00T-Mimic藍圖來加速其機器人訓練管道。同時,Agility Robotics、Boston Dynamics、Fourier、Mentee Robotics、NEURA Robotics和XPENG Robotics正在使用












