李飞飞团队公布了一种从单段视频中生成无限机器人训练场的方法
在具身智能领域,弥合模拟与现实之间的鸿沟——即所谓的“Sim2Real”——长期以来一直是一道难以逾越的障碍。模拟实验环境成本高昂,且模型在实际环境中部署时,性能往往会下降。 李飞飞团队、NVIDIA GEAR Lab 以及佐治亚理工学院近期开展的一项合作研究提出了一种创新解决方案:Real2Sim。
该系统名为“SimFoundry”,能够利用简单的真实世界视频创建交互式、可训练且可测试的机器人仿真。SimFoundry 不仅超越了传统的 3D 重建技术,还通过深度场景分析实现环境的自动生成,从而大幅降低了构建仿真所需的成本。

SimFoundry 的核心创新在于“数字孪生”与“数字表亲”之间的闭环机制。 该系统从视频中提取几何、物理和交互数据,以构建高保真的数字孪生体。随后,它会自动改变外观、布局和任务,从而生成多样化的数字表亲。这使得开发者能够从单段视频中获取几乎无限的训练数据,从而在模拟环境中实现端到端的策略学习和评估。
实验证实了 SimFoundry 强大的预测能力,模拟的机器人性能与现实世界结果高度吻合。关键在于,基于这些合成数据训练的策略无需微调即可有效迁移到现实中(“零样本”),并在多步骤操作和双臂协调等复杂任务中表现出色。
该开源系统由包括 NVIDIA GEAR Lab 核心成员和李飞飞团队在内的顶尖机器人专家共同开发,有望彻底改变具身人工智能的开发方式。通过用生成式技术取代成本高昂的手动数据采集,机器人现在能够更快地从实验室走向实际应用。
论文链接:https://arxiv.org/pdf/2606.28276v1
相关文章
米拉·穆拉蒂以谨慎的姿态重新回到聚光灯下
Mira Murati 从来就不适合参加各类会议。作为 OpenAI 的首席技术官,她一直主要处于幕后,很少担任公司的公众代言人。如今,她领导着自己的新公司 Thinking Machines Lab,显得更加神秘莫测。周四她在旧金山接受彭博社的采访——这是她大约 18 个月来的首次重大媒体亮相——引发了广泛关注,尽管她小心翼翼地避免了过度披露信息。这一时机与她的战略相吻合。在过去的约 18 个月里,Thinking Machines 一直在幕后低调运营:筹集资金、招募顶尖研究人员,并推出了一
Adobe创作者报告:80%的受访者表示人工智能推动了粉丝数量和业务的增长
随着人工智能在全球范围内的加速普及,内容创作领域正经历着一场根本性的变革。创意人工智能工具不再仅仅是工作流程的优化工具,它们正在推动业务增长,并帮助创作者拓展更广泛的受众群体。提升生产力与竞争优势Adobe 最近发布的《2026 年创作者工具包报告》对全球 16,000 名创作者进行了调查,结果显示 75% 的受访者现已将创意 AI 作为其工作流程的核心部分。AI的整合极大地缩短了制作时间,直接推
谷歌宣布自己成为人工智能设计领域的重要参与者
在周二的年度 I/O 大会上,Google 发布了 Pics,这是一款面向 Google Workspace 的全新 AI 驱动设计与图像创建工具。该公司表示,该应用旨在提升可访问性,服务于从教育工作者到小企业主等各类用户。Pics 允许用户使用简单的文本提示创建社交媒体图形、邀请函、营销素材和样机,无需具备高级编辑技能或专业软件。通过简化视觉创作,Google 旨在与 Canva 等成熟设计平台以及 Anthropic 的 Claude Design 等原生 AI 产品展开竞争。此举凸显了
相关专题推荐
评论 (0)
0/500
在具身智能领域,弥合模拟与现实之间的鸿沟——即所谓的“Sim2Real”——长期以来一直是一道难以逾越的障碍。模拟实验环境成本高昂,且模型在实际环境中部署时,性能往往会下降。 李飞飞团队、NVIDIA GEAR Lab 以及佐治亚理工学院近期开展的一项合作研究提出了一种创新解决方案:Real2Sim。
该系统名为“SimFoundry”,能够利用简单的真实世界视频创建交互式、可训练且可测试的机器人仿真。SimFoundry 不仅超越了传统的 3D 重建技术,还通过深度场景分析实现环境的自动生成,从而大幅降低了构建仿真所需的成本。

SimFoundry 的核心创新在于“数字孪生”与“数字表亲”之间的闭环机制。 该系统从视频中提取几何、物理和交互数据,以构建高保真的数字孪生体。随后,它会自动改变外观、布局和任务,从而生成多样化的数字表亲。这使得开发者能够从单段视频中获取几乎无限的训练数据,从而在模拟环境中实现端到端的策略学习和评估。
实验证实了 SimFoundry 强大的预测能力,模拟的机器人性能与现实世界结果高度吻合。关键在于,基于这些合成数据训练的策略无需微调即可有效迁移到现实中(“零样本”),并在多步骤操作和双臂协调等复杂任务中表现出色。
该开源系统由包括 NVIDIA GEAR Lab 核心成员和李飞飞团队在内的顶尖机器人专家共同开发,有望彻底改变具身人工智能的开发方式。通过用生成式技术取代成本高昂的手动数据采集,机器人现在能够更快地从实验室走向实际应用。
论文链接:https://arxiv.org/pdf/2606.28276v1
米拉·穆拉蒂以谨慎的姿态重新回到聚光灯下
Mira Murati 从来就不适合参加各类会议。作为 OpenAI 的首席技术官,她一直主要处于幕后,很少担任公司的公众代言人。如今,她领导着自己的新公司 Thinking Machines Lab,显得更加神秘莫测。周四她在旧金山接受彭博社的采访——这是她大约 18 个月来的首次重大媒体亮相——引发了广泛关注,尽管她小心翼翼地避免了过度披露信息。这一时机与她的战略相吻合。在过去的约 18 个月里,Thinking Machines 一直在幕后低调运营:筹集资金、招募顶尖研究人员,并推出了一
Adobe创作者报告:80%的受访者表示人工智能推动了粉丝数量和业务的增长
随着人工智能在全球范围内的加速普及,内容创作领域正经历着一场根本性的变革。创意人工智能工具不再仅仅是工作流程的优化工具,它们正在推动业务增长,并帮助创作者拓展更广泛的受众群体。提升生产力与竞争优势Adobe 最近发布的《2026 年创作者工具包报告》对全球 16,000 名创作者进行了调查,结果显示 75% 的受访者现已将创意 AI 作为其工作流程的核心部分。AI的整合极大地缩短了制作时间,直接推
谷歌宣布自己成为人工智能设计领域的重要参与者
在周二的年度 I/O 大会上,Google 发布了 Pics,这是一款面向 Google Workspace 的全新 AI 驱动设计与图像创建工具。该公司表示,该应用旨在提升可访问性,服务于从教育工作者到小企业主等各类用户。Pics 允许用户使用简单的文本提示创建社交媒体图形、邀请函、营销素材和样机,无需具备高级编辑技能或专业软件。通过简化视觉创作,Google 旨在与 Canva 等成熟设计平台以及 Anthropic 的 Claude Design 等原生 AI 产品展开竞争。此举凸显了





首页






