Nvidia借助云计算推动类人机器人发展
英伟达正全速进军人形机器人领域,并且毫不掩饰其雄心壮志。在2025年台湾Computex展会上,他们推出了一系列创新成果,这些成果将重新定义机器人开发的格局。其中,最引人注目的是英伟达Isaac GR00T N1.5,这是英伟达开放且完全可定制的人形推理和技能基础模型的最新迭代版本。此外,英伟达还推出了Isaac GR00T-Dreams蓝图,用于生成合成运动数据,以及强大的Nvidia Blackwell系统,这些系统旨在加速人形机器人的开发。
包括Agility Robotics、Boston Dynamics、Fourier、Foxlink、Galbot、Mentee Robotics、NEURA Robotics、General Robotics、Skild AI和XPENG Robotics在内的众多领先的人形和机器人开发商已经加入,利用英伟达Isaac平台技术推动人形机器人发展的边界。
英伟达首席执行官黄仁勋抑制不住兴奋之情,他表示:“物理AI和机器人技术将带来下一次工业革命。从为机器人提供AI大脑,到模拟世界进行实践,再到训练基础模型的AI超级计算机,英伟达为机器人开发的每个阶段提供了构建模块。”
新的Isaac GR00T数据生成蓝图填补了数据空白
你是否曾经想过拥有自己的一个人形机器人?在Computex的主题演讲中,黄仁勋展示了英伟达Isaac GR00T-Dreams,这是一个变革性的蓝图,能够生成大量的合成运动数据,或者神经轨迹。这些数据对于物理AI开发者来说是一笔宝藏,帮助他们教会机器人一系列新的行为,并适应不断变化的环境。
这一过程始于开发者对他们的机器人进行Cosmos预测世界基础模型(WFMs)的后训练。然后,只需一张图像作为输入,GR00T-Dreams就能生成机器人在新环境中完成新任务的视频。接着提取动作令牌——易于消化的数据片段,机器人可以利用它们学习这些新任务。
GR00T-Dreams与早前在Nvidia GTC 2025年三月会议上推出的Isaac GR00T-Mimic蓝图紧密配合。虽然GR00T-Mimic利用Nvidia Omniverse和Nvidia Cosmos来增强现有数据,但GR00T-Dreams则利用Cosmos从零开始创建全新的数据。
Nvidia的人工智能总监兼杰出科学家Jim Fan在新闻发布会上分享了他的热情,“Nvidia有一个非常强大的机器人战略,围绕着黄仁勋所说的‘三大计算机问题’展开。”他解释说,OVX计算机处理仿真和图形仿真物理引擎,生成的数据由DGX计算机用来训练基础模型。这些数据随后被部署到HX计算机上,用于边缘平台上的人形机器人运行。
Fan自豪地将Gr00t称为物理AI和机器人工作流的生命周期,强调说:“它是三大计算机问题的具体体现。”他指出Project Gr00t的两个重大进展:Gr00t Dreams和Gr00t N1.5,并开玩笑地说他对这些名字感到相当自豪。
对于Gr00t Dreams,Fan描述它是一个生成视频来训练机器人的模型。他展示了许多视频,全部由Nvidia Cosmos生成,解释说:“我们找到了一种方法,将先进的视频生成模型如Cosmos应用于人形机器人。所以,从高层次来看,这种方法的工作原理是我们首先在实验室的机器人视频上微调Cosmos,使这个视频模型现在专门针对我们实验室的机器人。然后我们可以用这个微调后的模型以不同的方式提示模型,从而生成理论上无限数量的梦想视频。现在这成为了合成数据来补充我们的真实机器人数据集。正如许多人可能知道的那样,收集真实机器人的数据既耗时又昂贵,因为你根本上受到每台机器人每天24小时的限制,对吧?这是一个物理系统,但有了Gr00t Dreams,这个新的工作流程和算法集,我们现在能够打破这个基本的物理限制,并以前所未有的规模增加数据。”
结果呢?机器人可以正确地拾取物体,无论是黄瓜、倒橙汁还是打开笔记本电脑。这些是机器人从未受过训练的动作,Fan指出,但由于视频模型的训练,机器人可以“理解这些动词的物理意义和含义”,并学会执行它们。
新的Isaac GR00T模型推进人形机器人发展
Nvidia的GR00T-Dreams蓝图不仅仅是空谈;它已经被投入使用,生成合成训练数据,仅用36小时就开发出了GR00T N1.5——如果没有这个蓝图,这项任务将需要近三个月的时间。GR00T N1.5现在可以更好地适应新的环境和工作空间配置,并通过用户指令识别物体。这一更新显著提高了模型在诸如分类或收拾物品等常见任务上的成功率,并且已经准备好部署在即将于今年晚些时候发布的Jetson Thor上。
GR00T N1.5基础模型将其合成数据生成管道整合了Gr00t Dreams。据Fan介绍,Nvidia升级了视觉语言骨干,确保GR00T N1.5具有卓越的适应性和更好的语言指令合规性。
GR00T N1.5将在Computex上首次亮相,并将于6月9日作为开源发布。至于Gr00t Dreams,Nvidia仍在微调时间表,但Fan补充说他们希望尽可能多地开源。
早期采用者包括AeiRobot、Foxlink、Lightwheel和NEURA Robotics。AeiRobot正在使用该模型使ALICE4能够理解自然语言指令并在工业环境中执行复杂的拾取和放置工作流程。Foxlink集团正在利用它提高工业机器人操作器的灵活性和效率,而Lightwheel正在验证合成数据以加快工厂中人形机器人的部署。NEURA Robotics正在探索该模型以加速其家庭自动化的发展。
新的机器人仿真和数据生成框架加速训练管道
创造高技能的人形机器人不仅仅关乎硬件;它还关乎喂养它们大量多样化数据,而这可能是昂贵且耗时的收集和处理过程。此外,在现实世界中测试机器人也有其自身的挑战和风险。
为了弥补这些差距,Nvidia引入了几项仿真技术:
- Nvidia Cosmos Reason,一个新的WFM,使用思维链推理来帮助为物理AI模型训练精心挑选准确、高质量的合成数据,现已在Hugging Face上可用。
- Cosmos Predict 2,用于GR00T Dreams,即将在Hugging Face上推出,性能提升,用于高质量的世界生成和减少幻觉。
- Nvidia Isaac GR00T-Mimic,一个生成机器人操作所需的大量合成运动轨迹的蓝图,只需少量人类演示即可。
- 开源物理AI数据集,现在包括24,000个高质量的人形机器人运动轨迹,用于开发GR00T N模型。
- Nvidia Isaac Sim 5.0,一个仿真和合成数据生成框架,现在在GitHub上公开可用。
- Nvidia Isaac Lab 2.2,一个开源机器人学习框架,将包含新的评估环境,以帮助开发者测试GR00T N模型。
富士康和富士康链接已经在使用GR00T-Mimic蓝图来加速其机器人训练管道。同时,Agility Robotics、Boston Dynamics、Fourier、Mentee Robotics、NEURA Robotics和XPENG Robotics正在使用Nvidia Isaac Sim和Isaac Lab来模拟和训练其人形机器人。Skild AI正在使用这些仿真框架开发通用机器人智能,而General Robotics正在将其集成到其机器人智能平台中。
机器人开发人员的通用Blackwell系统
全球系统制造商正在加大投入,建造Nvidia RTX PRO 6000工作站和服务器。这些系统提供统一架构,可以处理从训练到合成数据生成,再到机器人学习和仿真的每一种机器人开发工作负载。
思科、戴尔科技、惠普企业、联想和超微都宣布了搭载Nvidia RTX PRO 6000 Blackwell的服务器,而戴尔科技和联想也公布了搭载Nvidia RTX PRO 6000 Blackwell的工作站。
当您需要更大的计算能力来运行大规模训练或数据生成工作负载时,开发人员可以转向Nvidia Blackwell系统,例如GB200 NVL72。这些系统通过领先的云提供商和Nvidia Cloud Partners提供的Nvidia DGX Cloud获得,承诺在数据处理方面高达18倍的性能提升。
相关文章
新研究揭示大语言模型实际记忆的数据量
AI模型实际记忆了多少?新研究揭示惊人见解我们都知道,像ChatGPT、Claude和Gemini这样的大型语言模型(LLMs)是在海量数据集上训练的——包括来自书籍、网站、代码,甚至图像和音频等多媒体的数万亿字词。但这些数据到底发生了什么?这些模型是真正理解语言,还是仅仅在复述记忆的片段?来自Meta、Google DeepMind、Cornell和NVIDIA的一项突破性新研究终于给出了具体答
英伟达提供AI工厂数字孪生Omniverse蓝图
英伟达在2025年台北Computex上公布AI工厂数字孪生Omniverse蓝图重大扩展在2025年台北Computex上,英伟达宣布大幅扩展其AI工厂数字孪生Omniverse蓝图,现已开放预览。随着全球对AI驱动制造设施的需求激增,此更新推动了数字基础设施的可能性边界。新合作伙伴助力AI工厂生态系统蓝图通过与AI工厂电力、冷却和网络生态系统的新合作得到增强。行业巨头如Delta Electr
从 MIPS 到 exaflops,短短几十年:计算能力正在爆炸,将改变 AI
在最近的 Nvidia GTC 会议上,这家科技巨头公布了一项突破性成就:首个人单机架服务器系统能够达到一 exaflop。这是一个令人难以置信的每秒十亿亿次浮点运算(FLOPS)。这一壮举由 Nvidia 的最新 GB200 NVL72 系统驱动,配备了尖端的 Blackwell 图形处理单元(GPU)。为了便于理解,这个系统装在一个标准的计算机机架中,大约 6 英尺高,3 英尺多深,不到 2
评论 (0)
0/200
英伟达正全速进军人形机器人领域,并且毫不掩饰其雄心壮志。在2025年台湾Computex展会上,他们推出了一系列创新成果,这些成果将重新定义机器人开发的格局。其中,最引人注目的是英伟达Isaac GR00T N1.5,这是英伟达开放且完全可定制的人形推理和技能基础模型的最新迭代版本。此外,英伟达还推出了Isaac GR00T-Dreams蓝图,用于生成合成运动数据,以及强大的Nvidia Blackwell系统,这些系统旨在加速人形机器人的开发。
包括Agility Robotics、Boston Dynamics、Fourier、Foxlink、Galbot、Mentee Robotics、NEURA Robotics、General Robotics、Skild AI和XPENG Robotics在内的众多领先的人形和机器人开发商已经加入,利用英伟达Isaac平台技术推动人形机器人发展的边界。
英伟达首席执行官黄仁勋抑制不住兴奋之情,他表示:“物理AI和机器人技术将带来下一次工业革命。从为机器人提供AI大脑,到模拟世界进行实践,再到训练基础模型的AI超级计算机,英伟达为机器人开发的每个阶段提供了构建模块。”
新的Isaac GR00T数据生成蓝图填补了数据空白
你是否曾经想过拥有自己的一个人形机器人?在Computex的主题演讲中,黄仁勋展示了英伟达Isaac GR00T-Dreams,这是一个变革性的蓝图,能够生成大量的合成运动数据,或者神经轨迹。这些数据对于物理AI开发者来说是一笔宝藏,帮助他们教会机器人一系列新的行为,并适应不断变化的环境。
这一过程始于开发者对他们的机器人进行Cosmos预测世界基础模型(WFMs)的后训练。然后,只需一张图像作为输入,GR00T-Dreams就能生成机器人在新环境中完成新任务的视频。接着提取动作令牌——易于消化的数据片段,机器人可以利用它们学习这些新任务。
GR00T-Dreams与早前在Nvidia GTC 2025年三月会议上推出的Isaac GR00T-Mimic蓝图紧密配合。虽然GR00T-Mimic利用Nvidia Omniverse和Nvidia Cosmos来增强现有数据,但GR00T-Dreams则利用Cosmos从零开始创建全新的数据。
Nvidia的人工智能总监兼杰出科学家Jim Fan在新闻发布会上分享了他的热情,“Nvidia有一个非常强大的机器人战略,围绕着黄仁勋所说的‘三大计算机问题’展开。”他解释说,OVX计算机处理仿真和图形仿真物理引擎,生成的数据由DGX计算机用来训练基础模型。这些数据随后被部署到HX计算机上,用于边缘平台上的人形机器人运行。
Fan自豪地将Gr00t称为物理AI和机器人工作流的生命周期,强调说:“它是三大计算机问题的具体体现。”他指出Project Gr00t的两个重大进展:Gr00t Dreams和Gr00t N1.5,并开玩笑地说他对这些名字感到相当自豪。
对于Gr00t Dreams,Fan描述它是一个生成视频来训练机器人的模型。他展示了许多视频,全部由Nvidia Cosmos生成,解释说:“我们找到了一种方法,将先进的视频生成模型如Cosmos应用于人形机器人。所以,从高层次来看,这种方法的工作原理是我们首先在实验室的机器人视频上微调Cosmos,使这个视频模型现在专门针对我们实验室的机器人。然后我们可以用这个微调后的模型以不同的方式提示模型,从而生成理论上无限数量的梦想视频。现在这成为了合成数据来补充我们的真实机器人数据集。正如许多人可能知道的那样,收集真实机器人的数据既耗时又昂贵,因为你根本上受到每台机器人每天24小时的限制,对吧?这是一个物理系统,但有了Gr00t Dreams,这个新的工作流程和算法集,我们现在能够打破这个基本的物理限制,并以前所未有的规模增加数据。”
结果呢?机器人可以正确地拾取物体,无论是黄瓜、倒橙汁还是打开笔记本电脑。这些是机器人从未受过训练的动作,Fan指出,但由于视频模型的训练,机器人可以“理解这些动词的物理意义和含义”,并学会执行它们。
新的Isaac GR00T模型推进人形机器人发展
Nvidia的GR00T-Dreams蓝图不仅仅是空谈;它已经被投入使用,生成合成训练数据,仅用36小时就开发出了GR00T N1.5——如果没有这个蓝图,这项任务将需要近三个月的时间。GR00T N1.5现在可以更好地适应新的环境和工作空间配置,并通过用户指令识别物体。这一更新显著提高了模型在诸如分类或收拾物品等常见任务上的成功率,并且已经准备好部署在即将于今年晚些时候发布的Jetson Thor上。
GR00T N1.5基础模型将其合成数据生成管道整合了Gr00t Dreams。据Fan介绍,Nvidia升级了视觉语言骨干,确保GR00T N1.5具有卓越的适应性和更好的语言指令合规性。
GR00T N1.5将在Computex上首次亮相,并将于6月9日作为开源发布。至于Gr00t Dreams,Nvidia仍在微调时间表,但Fan补充说他们希望尽可能多地开源。
早期采用者包括AeiRobot、Foxlink、Lightwheel和NEURA Robotics。AeiRobot正在使用该模型使ALICE4能够理解自然语言指令并在工业环境中执行复杂的拾取和放置工作流程。Foxlink集团正在利用它提高工业机器人操作器的灵活性和效率,而Lightwheel正在验证合成数据以加快工厂中人形机器人的部署。NEURA Robotics正在探索该模型以加速其家庭自动化的发展。
新的机器人仿真和数据生成框架加速训练管道
创造高技能的人形机器人不仅仅关乎硬件;它还关乎喂养它们大量多样化数据,而这可能是昂贵且耗时的收集和处理过程。此外,在现实世界中测试机器人也有其自身的挑战和风险。
为了弥补这些差距,Nvidia引入了几项仿真技术:
- Nvidia Cosmos Reason,一个新的WFM,使用思维链推理来帮助为物理AI模型训练精心挑选准确、高质量的合成数据,现已在Hugging Face上可用。
- Cosmos Predict 2,用于GR00T Dreams,即将在Hugging Face上推出,性能提升,用于高质量的世界生成和减少幻觉。
- Nvidia Isaac GR00T-Mimic,一个生成机器人操作所需的大量合成运动轨迹的蓝图,只需少量人类演示即可。
- 开源物理AI数据集,现在包括24,000个高质量的人形机器人运动轨迹,用于开发GR00T N模型。
- Nvidia Isaac Sim 5.0,一个仿真和合成数据生成框架,现在在GitHub上公开可用。
- Nvidia Isaac Lab 2.2,一个开源机器人学习框架,将包含新的评估环境,以帮助开发者测试GR00T N模型。
富士康和富士康链接已经在使用GR00T-Mimic蓝图来加速其机器人训练管道。同时,Agility Robotics、Boston Dynamics、Fourier、Mentee Robotics、NEURA Robotics和XPENG Robotics正在使用Nvidia Isaac Sim和Isaac Lab来模拟和训练其人形机器人。Skild AI正在使用这些仿真框架开发通用机器人智能,而General Robotics正在将其集成到其机器人智能平台中。
机器人开发人员的通用Blackwell系统
全球系统制造商正在加大投入,建造Nvidia RTX PRO 6000工作站和服务器。这些系统提供统一架构,可以处理从训练到合成数据生成,再到机器人学习和仿真的每一种机器人开发工作负载。
思科、戴尔科技、惠普企业、联想和超微都宣布了搭载Nvidia RTX PRO 6000 Blackwell的服务器,而戴尔科技和联想也公布了搭载Nvidia RTX PRO 6000 Blackwell的工作站。
当您需要更大的计算能力来运行大规模训练或数据生成工作负载时,开发人员可以转向Nvidia Blackwell系统,例如GB200 NVL72。这些系统通过领先的云提供商和Nvidia Cloud Partners提供的Nvidia DGX Cloud获得,承诺在数据处理方面高达18倍的性能提升。












