Nvidia藉雲端技術推進人形機器人發展
輝達正全力衝刺進入人形機器人領域,而且毫不猶豫。在台灣舉辦的2025年 COMPUTEX 展覽會上,他們揭曉了一系列將重新定義機器人開發領域的創新技術。其中,最引人注目的就是輝達 Isaac GR00T N1.5,這是輝達開放且完全可定制的人形推理和技能基礎模型的最新迭代。此外,輝達還推出了 Isaaс GR00T-Dreams,這是一個設計來生成合成運動數據的藍圖,以及強大的 Nvidia Blackwell 系統,這些系統旨在加速人形機器人的開發。
包括 Agilit yRobotics、Boston Dynamics、Fourier、Foxlink、Galbot、Mentee Robotics、NEURA Robotics、General Robotics、Skild AI 和 XPENG Robotics 在內的多家領先的人形和機器人開發商已經加入,利用輝達的 Isaac 平台技術,推動人形機器人的可能性邊界。
輝達首席執行官黃仁勛難掩興奮之情,表示:「物理人工智能和機器人將帶來下一場工業革命。從機器人的AI大腦,到模擬世界進行練習,或用於訓練基礎模型的AI超級計算機,輝達為機器人開發的每一個階段提供了構建模塊。」
新的 Isaac GR00T 數據生成藍圖彌補了數據缺口
是否想過擁有自己的人形機器人?在COMPUTEX 的主題演講中,黃展示了輝達 Isaac GR00T-Dreams,這是一種改變遊戲規則的藍圖,可以生成大量的合成運動數據或神經軌跡。對於物理人工智能開發者來說,這些數據就像一筆寶藏,幫助他們教導機器人一系列新行為,並適應不斷變化的環境。
這個過程始於開發者對其機器人進行 Cosmos 預測世界基礎模型(WFMs)的後期訓練。然後,只需一張圖片作為輸入,GR00T-Dreams 就能生成視頻,展示機器人在新環境中完成新任務的情景。接著,它提取行動令牌——易於消化的小型數據片段,供機器人學習這些新任務。
GR00T-Dreams 與之前在三月份的 NVIDIA GTC 大會上推出的 Isaac GR00T-Mimic 藍圖相輔相成。雖然 GR00T-Mimic 利用 NVIDIA Omniverse 和 NVIDIA Cosmos 增強現有數據,但 GR00T-Dreams 使用 Cosmos 從零開始創建全新數據。
NVIDIA 的 AI 主任兼傑出科學家 Jim Fan 在新聞簡報中分享了他的熱情,「NVIDIA 擁有一個非常強大的機器人戰略,圍繞著黃所稱的三個計算問題。」他解釋說,OVX 電腦負責模擬和圖形模擬物理引擎,生成數據,然後 DGX 電腦使用這些數據來訓練基礎模型。這些數據隨後部署到 HX 電腦上,HX 電腦在邊緣運行,為像人形機器人這樣的平台服務。
Fan 驕傲地提到 Gr00t 是物理人工智能和基於機器人的工作流程的生命週期,強調:「這是三個計算問題的具體實例。」他指出 Project Gr00t 的兩個主要進展:Gr00t Dreams 和 Gr00t N1.5,開玩笑地說他對這些名字感到非常自豪。
對於 Gr00t Dreams,Fan 描述它是一個生成視頻來訓練機器人的模型。他展示了許多由 NVIDIA Cosmos 生成的視頻,解釋道:「我們找到了一種方法,將先進的視頻生成模型如 Cosmos 應用於幫助人形機器人。所以從高層次上看,這個方法的工作原理是我們首先在實驗室的機器人視頻上微調 Cosmos,這樣這個視頻模型現在就定制到了我們實驗室的機器人。然後,我們可以使用這個微調模型,通過以不同方式提示模型來生成無限數量的夢幻視頻。現在這些成為合成數據,增強我們真實機器人的數據集。正如許多人可能知道的那樣,收集真實機器人的數據非常耗時且昂貴,因為你本質上每天每台機器人都受到24小時的限制,對吧?它是物理系統,但有了 Gr00t Dreams,這個新的工作流程,這套新算法,現在我們能夠突破這個基本的物理限制,並以前所未有的規模擴展數據。」
結果呢?無論是拾取黃瓜、倒橙汁還是打開筆記本電腦,機器人都能正確完成這些動作。Fan 指出,這些是機器人未曾接受過訓練的動作,但由於視頻模型的訓練,機器人能夠「理解這些動詞的物理意義和含義」並學會執行它們。
新的 Isaac GR00T 模型推動人形機器人發展
Nvidia 的 GR00T-Dreams 藍圖不僅僅是空談;它已經投入實際應用,生成合成訓練數據,僅用36小時就開發出了 GR00T N1.5——這個任務若沒有藍圖可能需要近三個月。GR00T N1.5 現在可以更好地適應新環境和工作空間配置,並且能通過用戶指令識別物體。這一更新顯著提高了模型在常見任務(如分類或整理物品)中的成功率,並且已經準備好在即將推出的 Jetson Thor 上部署,該產品預計今年晚些時候推出。
GR00T N1.5 基礎模型將 Gr00t Dreams 整合到其合成數據生成管道中。根據 Fan 的說法,Nvidia 升級了視覺語言主幹,確保 GR00T N1.5 將具有優異的適應性和更好的語言指令遵守能力。
GR00T N1.5 將於 COMPUTEX 首次亮相,並於6月9日作為開源發佈。至於 Gr00t Dreams,Nvidia 仍在細化時間表,但目標是盡可能多地開源,Fan 表示。
GR00T N 的早期採用者包括 AeiRobot、Foxlink、Lightwheel 和 NEURA Robotics。AeiRobot 正在使用該模型讓 ALICE4 理解自然語言指令並在工業環境中執行複雜的拾取和放置工作流程。Foxlink 集團正在利用它來提高工業機器人操作器的靈活性和效率,而 Lightwheel 正在驗證合成數據,以加快工廠中人形機器人的部署。NEURA Robotics 正在探索該模型,以加速其家庭自動化的開發。
新的機器人模擬和數據生成框架加速訓練管道
創造高度專業的人形機器人不僅僅是關於硬體;還需要給它們大量多樣的數據,這可能會很昂貴且耗時來收集和處理。此外,在現實世界中測試機器人也有其自身的挑戰和風險。
為了解決這些差距,Nvidia 推出了多項模擬技術:
- Nvidia Cosmos Reason,一種新的 WFM,使用鏈式思考推理來幫助策劃準確且高質量的合成數據,用於物理人工智能模型的訓練,現在已在 Hugging Face 上可用。
- Cosmos Predict 2,在 GR00T Dreams 中使用,即將在 Hugging Face 上推出,性能增強,用於高質量的世界生成和減少幻覺。
- Nvidia Isaac GR00T-Mimic,一種藍圖,可以用少數人類示範生成指數級別的合成運動軌跡,用於機器人操作。
- 开源物理人工智能数据集,现在包含24,000个高质量的人形机器人运动轨迹,用于开发GR00T N模型。
- Nvidia Isaac Sim 5.0,一种模拟和合成数据生成框架,现在在GitHub上公开可用。
- Nvidia Isaac Lab 2.2,一个开源机器人学习框架,将包括新的评估环境,以帮助开发者测试GR00T N模型。
富士康和富聯科技已經在使用GR00T-Mimic藍圖來加速其機器人訓練管道。同時,Agility Robotics、Boston Dynamics、Fourier、Mentee Robotics、NEURA Robotics和XPENG Robotics正在使用
相關文章
華為超節點384打亂英偉達AI市場壟斷
華為在人工智慧處理架構上的突破:超節點384在人工智慧不斷發展的背景下,華為憑藉其超節點384架構在處理器設計上取得了巨大的進步。這一突破發生在中美科技緊張局勢升級的情況下,展現了華為在逆境中的韌性和創意。該發佈會於上周在深圳舉行的鯤鵬昇騰開發者大會上進行。在會議期間,公司領導展示了超節點384如何直接挑戰Nvidia在人工智慧處理器市場上的長期主導地位。在
Nvidia AI助手在Windows上新增Spotify、Twitch插件
Nvidia 將其 G-Assist AI 助理在 Windows 上提升到新的高度,不再僅限於調整遊戲和系統設置。上個月初次推出的 G-Assist 最初是一個旨在增強 PC 遊戲體驗的聊天機器人,現在則隨著插件支援的加入而進化。這次更新讓 AI 能夠擴展其功能範圍,讓你能夠控制 Spotify,檢查你喜愛的實況主是否在 Twitch 上直播,甚至監控股票
評論 (0)
0/200
輝達正全力衝刺進入人形機器人領域,而且毫不猶豫。在台灣舉辦的2025年 COMPUTEX 展覽會上,他們揭曉了一系列將重新定義機器人開發領域的創新技術。其中,最引人注目的就是輝達 Isaac GR00T N1.5,這是輝達開放且完全可定制的人形推理和技能基礎模型的最新迭代。此外,輝達還推出了 Isaaс GR00T-Dreams,這是一個設計來生成合成運動數據的藍圖,以及強大的 Nvidia Blackwell 系統,這些系統旨在加速人形機器人的開發。
包括 Agilit yRobotics、Boston Dynamics、Fourier、Foxlink、Galbot、Mentee Robotics、NEURA Robotics、General Robotics、Skild AI 和 XPENG Robotics 在內的多家領先的人形和機器人開發商已經加入,利用輝達的 Isaac 平台技術,推動人形機器人的可能性邊界。
輝達首席執行官黃仁勛難掩興奮之情,表示:「物理人工智能和機器人將帶來下一場工業革命。從機器人的AI大腦,到模擬世界進行練習,或用於訓練基礎模型的AI超級計算機,輝達為機器人開發的每一個階段提供了構建模塊。」
新的 Isaac GR00T 數據生成藍圖彌補了數據缺口
是否想過擁有自己的人形機器人?在COMPUTEX 的主題演講中,黃展示了輝達 Isaac GR00T-Dreams,這是一種改變遊戲規則的藍圖,可以生成大量的合成運動數據或神經軌跡。對於物理人工智能開發者來說,這些數據就像一筆寶藏,幫助他們教導機器人一系列新行為,並適應不斷變化的環境。
這個過程始於開發者對其機器人進行 Cosmos 預測世界基礎模型(WFMs)的後期訓練。然後,只需一張圖片作為輸入,GR00T-Dreams 就能生成視頻,展示機器人在新環境中完成新任務的情景。接著,它提取行動令牌——易於消化的小型數據片段,供機器人學習這些新任務。
GR00T-Dreams 與之前在三月份的 NVIDIA GTC 大會上推出的 Isaac GR00T-Mimic 藍圖相輔相成。雖然 GR00T-Mimic 利用 NVIDIA Omniverse 和 NVIDIA Cosmos 增強現有數據,但 GR00T-Dreams 使用 Cosmos 從零開始創建全新數據。
NVIDIA 的 AI 主任兼傑出科學家 Jim Fan 在新聞簡報中分享了他的熱情,「NVIDIA 擁有一個非常強大的機器人戰略,圍繞著黃所稱的三個計算問題。」他解釋說,OVX 電腦負責模擬和圖形模擬物理引擎,生成數據,然後 DGX 電腦使用這些數據來訓練基礎模型。這些數據隨後部署到 HX 電腦上,HX 電腦在邊緣運行,為像人形機器人這樣的平台服務。
Fan 驕傲地提到 Gr00t 是物理人工智能和基於機器人的工作流程的生命週期,強調:「這是三個計算問題的具體實例。」他指出 Project Gr00t 的兩個主要進展:Gr00t Dreams 和 Gr00t N1.5,開玩笑地說他對這些名字感到非常自豪。
對於 Gr00t Dreams,Fan 描述它是一個生成視頻來訓練機器人的模型。他展示了許多由 NVIDIA Cosmos 生成的視頻,解釋道:「我們找到了一種方法,將先進的視頻生成模型如 Cosmos 應用於幫助人形機器人。所以從高層次上看,這個方法的工作原理是我們首先在實驗室的機器人視頻上微調 Cosmos,這樣這個視頻模型現在就定制到了我們實驗室的機器人。然後,我們可以使用這個微調模型,通過以不同方式提示模型來生成無限數量的夢幻視頻。現在這些成為合成數據,增強我們真實機器人的數據集。正如許多人可能知道的那樣,收集真實機器人的數據非常耗時且昂貴,因為你本質上每天每台機器人都受到24小時的限制,對吧?它是物理系統,但有了 Gr00t Dreams,這個新的工作流程,這套新算法,現在我們能夠突破這個基本的物理限制,並以前所未有的規模擴展數據。」
結果呢?無論是拾取黃瓜、倒橙汁還是打開筆記本電腦,機器人都能正確完成這些動作。Fan 指出,這些是機器人未曾接受過訓練的動作,但由於視頻模型的訓練,機器人能夠「理解這些動詞的物理意義和含義」並學會執行它們。
新的 Isaac GR00T 模型推動人形機器人發展
Nvidia 的 GR00T-Dreams 藍圖不僅僅是空談;它已經投入實際應用,生成合成訓練數據,僅用36小時就開發出了 GR00T N1.5——這個任務若沒有藍圖可能需要近三個月。GR00T N1.5 現在可以更好地適應新環境和工作空間配置,並且能通過用戶指令識別物體。這一更新顯著提高了模型在常見任務(如分類或整理物品)中的成功率,並且已經準備好在即將推出的 Jetson Thor 上部署,該產品預計今年晚些時候推出。
GR00T N1.5 基礎模型將 Gr00t Dreams 整合到其合成數據生成管道中。根據 Fan 的說法,Nvidia 升級了視覺語言主幹,確保 GR00T N1.5 將具有優異的適應性和更好的語言指令遵守能力。
GR00T N1.5 將於 COMPUTEX 首次亮相,並於6月9日作為開源發佈。至於 Gr00t Dreams,Nvidia 仍在細化時間表,但目標是盡可能多地開源,Fan 表示。
GR00T N 的早期採用者包括 AeiRobot、Foxlink、Lightwheel 和 NEURA Robotics。AeiRobot 正在使用該模型讓 ALICE4 理解自然語言指令並在工業環境中執行複雜的拾取和放置工作流程。Foxlink 集團正在利用它來提高工業機器人操作器的靈活性和效率,而 Lightwheel 正在驗證合成數據,以加快工廠中人形機器人的部署。NEURA Robotics 正在探索該模型,以加速其家庭自動化的開發。
新的機器人模擬和數據生成框架加速訓練管道
創造高度專業的人形機器人不僅僅是關於硬體;還需要給它們大量多樣的數據,這可能會很昂貴且耗時來收集和處理。此外,在現實世界中測試機器人也有其自身的挑戰和風險。
為了解決這些差距,Nvidia 推出了多項模擬技術:
- Nvidia Cosmos Reason,一種新的 WFM,使用鏈式思考推理來幫助策劃準確且高質量的合成數據,用於物理人工智能模型的訓練,現在已在 Hugging Face 上可用。
- Cosmos Predict 2,在 GR00T Dreams 中使用,即將在 Hugging Face 上推出,性能增強,用於高質量的世界生成和減少幻覺。
- Nvidia Isaac GR00T-Mimic,一種藍圖,可以用少數人類示範生成指數級別的合成運動軌跡,用於機器人操作。
- 开源物理人工智能数据集,现在包含24,000个高质量的人形机器人运动轨迹,用于开发GR00T N模型。
- Nvidia Isaac Sim 5.0,一种模拟和合成数据生成框架,现在在GitHub上公开可用。
- Nvidia Isaac Lab 2.2,一个开源机器人学习框架,将包括新的评估环境,以帮助开发者测试GR00T N模型。
富士康和富聯科技已經在使用GR00T-Mimic藍圖來加速其機器人訓練管道。同時,Agility Robotics、Boston Dynamics、Fourier、Mentee Robotics、NEURA Robotics和XPENG Robotics正在使用










