李飛飛氏のチーム、1本の動画から無限のロボット訓練場を生成する手法を発表
エンボディッド・インテリジェンスにおいて、シミュレーションと現実のギャップを埋めること――いわゆる「Sim2Real」――は、長年にわたり解決すべき課題として残されてきました。シミュレーション環境の構築には多額の費用がかかり、また、物理的な環境にモデルを導入すると、その性能が低下してしまうことが頻繁にあります。 李飛飛(Li Fei-Fei)氏のチーム、NVIDIA GEAR Lab、ジョージア工科大学による最近の共同研究では、画期的な解決策「Real2Sim」が提案された。
「SimFoundry」と名付けられたこのシステムは、単純な実世界の動画を用いて、インタラクティブで、学習可能かつテスト可能なロボットシミュレーションを生成します。従来の3D再構築の枠を超え、SimFoundryはディープシーン解析を行い、環境生成を自動化することで、シミュレーション構築に必要な労力を大幅に削減します。

SimFoundryの核心となる革新は、「デジタルツイン」と「デジタルカズン」の間の閉ループにあります。 このシステムは、動画から幾何学的、物理的、およびインタラクティブなデータを抽出し、高忠実度のデジタルツインを構築します。その後、外観、レイアウト、タスクを自動的に変化させて、多様なデジタルカズンを生成します。これにより、開発者は1本の動画から事実上無制限のトレーニングデータを導き出し、シミュレーション内でのエンドツーエンドの戦略学習と評価が可能になります。
実験により、SimFoundryの強力な予測能力が実証されており、シミュレーション上のロボットのパフォーマンスは実世界の結果と密接に一致しています。特に重要なのは、この合成データで学習された戦略が、微調整(「ゼロショット」)なしに現実世界に効果的に転移し、多段階操作や両腕の協調動作といった複雑なタスクにおいて優れた性能を発揮する点です。
NVIDIA GEAR LabやLi Fei-Fei氏のチームの主要メンバーを含む、ロボット工学の第一人者たちが共同執筆したこのオープンソースシステムは、体現型AIの開発に革命をもたらすことが期待されています。コストのかかる手作業によるデータ収集を生成技術に置き換えることで、ロボットは実験室から実世界での応用へと、これまでよりもはるかに迅速に移行できるようになりました。
論文リンク:https://arxiv.org/pdf/2606.28276v1
関連記事
上院、データセンターの電力請求書の開示を要求
米上院議員2名が、データセンターとそのエネルギー消費に対するキャンペーンをエスカレートさせ、木曜日に米国エネルギー情報局(EIA)宛てに書簡を送った。ジョシュ・ホーリー上院議員とエリザベス・ウォーレン上院議員は、同局に対しデータセンターのエネルギー使用量および電力網への影響に関する詳細な情報の収集を要請した。TechCrunchが確認した書簡において、両議員はEIAに対し「データセンターおよびその他の大規模負荷に対する年次報告義務を確立するよう」促した。彼らは、「相対的な停滞の数年を経て電力需
ミラ・ムラティが慎重なアプローチで再び注目を集める
Mira Muratiは、これまでカンファレンスの舞台に立つことに適した人物ではなかった。OpenAIのCTOとして、彼女は主に裏方として活動し、同社の顔として公の場に立つことは稀であった。現在、自身のベンチャーであるThinking Machines Labを率いる彼女は、さらに姿を隠している。木曜日にサンフランシスコで行われたBloombergとの最近のインタビューは、彼女が過度な情報開示を慎重に避けつつも注目を集めるものであった。これは、約18ヶ月ぶりの主要なメディア出演だった。このタイ
アドビ・クリエイター・レポート:80%が「AIがファン層の拡大とビジネスの成長を促進している」と回答
人工知能の世界的な普及が加速する中、コンテンツ制作業界は根本的な変革を遂げつつあります。クリエイティブAIツールはもはや単なるワークフローの効率化ツールにとどまらず、ビジネスの成長を牽引し、クリエイターがより多くの視聴者を獲得できるよう支援しています。生産性と競争力の向上アドビが最近発表した「2026年クリエイター・ツールキット・レポート」では、世界中のクリエイター16,000人を対象に調査が行わ
関連特集おすすめ
コメント (0)
0/500
エンボディッド・インテリジェンスにおいて、シミュレーションと現実のギャップを埋めること――いわゆる「Sim2Real」――は、長年にわたり解決すべき課題として残されてきました。シミュレーション環境の構築には多額の費用がかかり、また、物理的な環境にモデルを導入すると、その性能が低下してしまうことが頻繁にあります。 李飛飛(Li Fei-Fei)氏のチーム、NVIDIA GEAR Lab、ジョージア工科大学による最近の共同研究では、画期的な解決策「Real2Sim」が提案された。
「SimFoundry」と名付けられたこのシステムは、単純な実世界の動画を用いて、インタラクティブで、学習可能かつテスト可能なロボットシミュレーションを生成します。従来の3D再構築の枠を超え、SimFoundryはディープシーン解析を行い、環境生成を自動化することで、シミュレーション構築に必要な労力を大幅に削減します。

SimFoundryの核心となる革新は、「デジタルツイン」と「デジタルカズン」の間の閉ループにあります。 このシステムは、動画から幾何学的、物理的、およびインタラクティブなデータを抽出し、高忠実度のデジタルツインを構築します。その後、外観、レイアウト、タスクを自動的に変化させて、多様なデジタルカズンを生成します。これにより、開発者は1本の動画から事実上無制限のトレーニングデータを導き出し、シミュレーション内でのエンドツーエンドの戦略学習と評価が可能になります。
実験により、SimFoundryの強力な予測能力が実証されており、シミュレーション上のロボットのパフォーマンスは実世界の結果と密接に一致しています。特に重要なのは、この合成データで学習された戦略が、微調整(「ゼロショット」)なしに現実世界に効果的に転移し、多段階操作や両腕の協調動作といった複雑なタスクにおいて優れた性能を発揮する点です。
NVIDIA GEAR LabやLi Fei-Fei氏のチームの主要メンバーを含む、ロボット工学の第一人者たちが共同執筆したこのオープンソースシステムは、体現型AIの開発に革命をもたらすことが期待されています。コストのかかる手作業によるデータ収集を生成技術に置き換えることで、ロボットは実験室から実世界での応用へと、これまでよりもはるかに迅速に移行できるようになりました。
論文リンク:https://arxiv.org/pdf/2606.28276v1
上院、データセンターの電力請求書の開示を要求
米上院議員2名が、データセンターとそのエネルギー消費に対するキャンペーンをエスカレートさせ、木曜日に米国エネルギー情報局(EIA)宛てに書簡を送った。ジョシュ・ホーリー上院議員とエリザベス・ウォーレン上院議員は、同局に対しデータセンターのエネルギー使用量および電力網への影響に関する詳細な情報の収集を要請した。TechCrunchが確認した書簡において、両議員はEIAに対し「データセンターおよびその他の大規模負荷に対する年次報告義務を確立するよう」促した。彼らは、「相対的な停滞の数年を経て電力需
ミラ・ムラティが慎重なアプローチで再び注目を集める
Mira Muratiは、これまでカンファレンスの舞台に立つことに適した人物ではなかった。OpenAIのCTOとして、彼女は主に裏方として活動し、同社の顔として公の場に立つことは稀であった。現在、自身のベンチャーであるThinking Machines Labを率いる彼女は、さらに姿を隠している。木曜日にサンフランシスコで行われたBloombergとの最近のインタビューは、彼女が過度な情報開示を慎重に避けつつも注目を集めるものであった。これは、約18ヶ月ぶりの主要なメディア出演だった。このタイ
アドビ・クリエイター・レポート:80%が「AIがファン層の拡大とビジネスの成長を促進している」と回答
人工知能の世界的な普及が加速する中、コンテンツ制作業界は根本的な変革を遂げつつあります。クリエイティブAIツールはもはや単なるワークフローの効率化ツールにとどまらず、ビジネスの成長を牽引し、クリエイターがより多くの視聴者を獲得できるよう支援しています。生産性と競争力の向上アドビが最近発表した「2026年クリエイター・ツールキット・レポート」では、世界中のクリエイター16,000人を対象に調査が行わ





家






