Maison
L'équipe de Li Feifei dévoile une méthode permettant de générer une infinité de terrains d'entraînement pour robots à partir d'une seule vidéo
Dans le domaine de l’intelligence incarnée, combler le fossé entre la simulation et la réalité — un processus connu sous le nom de « Sim2Real » — constitue depuis longtemps un obstacle tenace. Les installations de simulation sont coûteuses, et les modèles perdent souvent en performances lorsqu’ils sont déployés dans des environnements physiques. Une étude collaborative récente menée par l’équipe de Li Fei-Fei, le NVIDIA GEAR Lab et Georgia Tech présente une solution novatrice : Real2Sim.
Baptisé « SimFoundry », ce système crée des simulations robotiques interactives, entraînables et testables à partir de simples vidéos du monde réel. Allant au-delà de la reconstruction 3D traditionnelle, SimFoundry effectue une analyse approfondie des scènes pour automatiser la création d’environnements, réduisant ainsi considérablement l’effort nécessaire à la construction de simulations.

L’innovation centrale de SimFoundry repose sur une boucle fermée entre les « jumeaux numériques » et les « cousins numériques ». Le système extrait des données géométriques, physiques et interactives des vidéos pour construire des jumeaux numériques haute fidélité. Il modifie ensuite automatiquement l’apparence, la disposition et les tâches afin de générer divers cousins numériques. Cela permet aux développeurs de tirer des données d’entraînement pratiquement illimitées d’une seule vidéo, facilitant ainsi l’apprentissage et l’évaluation de stratégies de bout en bout au sein de la simulation.
Des expériences confirment la forte capacité prédictive de SimFoundry, les performances simulées des robots correspondant étroitement aux résultats observés dans le monde réel. Élément crucial : les stratégies entraînées sur ces données synthétiques se transposent efficacement dans la réalité sans ajustement (« zero-shot »), et excellent dans des tâches complexes telles que les opérations en plusieurs étapes et la coordination des deux bras.
Co-développé par des experts de premier plan en robotique, notamment des membres clés du NVIDIA GEAR Lab et de l’équipe de Li Fei-Fei, ce système open source promet de transformer le développement de l’IA incarnée. En remplaçant la collecte manuelle et coûteuse de données par une technologie générative, les robots peuvent désormais passer beaucoup plus rapidement du laboratoire aux applications concrètes.
Lien vers l'article : https://arxiv.org/pdf/2606.28276v1
Article connexe
Le Sénat exige que les centres de données révèlent leurs factures d'électricité
Deux sénateurs américains ont intensifié leur campagne contre les centres de données et leur consommation d’énergie, en adressant une lettre à l’Administration américaine de l’information sur l’énergie (EIA) jeudi. Les sénateurs Josh Hawley et Elizab
Mira Murati revient sur le devan avec une approche prudente
Mira Murati n’a jamais été une figure naturelle du circuit des conférences. En tant que CTO d’OpenAI, elle est restée largement dans l’ombre, servant rarement de visage public à l’entreprise. Maintenant à la tête de sa propre entreprise, Thinking Mac
Rapport Adobe Creator : 80 % des personnes interrogées affirment que l'IA favorise la croissance de leur communauté et de leur activité
Alors que l'intelligence artificielle accélère son expansion mondiale, le secteur de la création de contenu connaît une mutation profonde. Les outils d'IA créative ne se contentent plus d'optimiser le
Recommandations de sujets spéciaux liés
commentaires (0)
Dans le domaine de l’intelligence incarnée, combler le fossé entre la simulation et la réalité — un processus connu sous le nom de « Sim2Real » — constitue depuis longtemps un obstacle tenace. Les installations de simulation sont coûteuses, et les modèles perdent souvent en performances lorsqu’ils sont déployés dans des environnements physiques. Une étude collaborative récente menée par l’équipe de Li Fei-Fei, le NVIDIA GEAR Lab et Georgia Tech présente une solution novatrice : Real2Sim.
Baptisé « SimFoundry », ce système crée des simulations robotiques interactives, entraînables et testables à partir de simples vidéos du monde réel. Allant au-delà de la reconstruction 3D traditionnelle, SimFoundry effectue une analyse approfondie des scènes pour automatiser la création d’environnements, réduisant ainsi considérablement l’effort nécessaire à la construction de simulations.

L’innovation centrale de SimFoundry repose sur une boucle fermée entre les « jumeaux numériques » et les « cousins numériques ». Le système extrait des données géométriques, physiques et interactives des vidéos pour construire des jumeaux numériques haute fidélité. Il modifie ensuite automatiquement l’apparence, la disposition et les tâches afin de générer divers cousins numériques. Cela permet aux développeurs de tirer des données d’entraînement pratiquement illimitées d’une seule vidéo, facilitant ainsi l’apprentissage et l’évaluation de stratégies de bout en bout au sein de la simulation.
Des expériences confirment la forte capacité prédictive de SimFoundry, les performances simulées des robots correspondant étroitement aux résultats observés dans le monde réel. Élément crucial : les stratégies entraînées sur ces données synthétiques se transposent efficacement dans la réalité sans ajustement (« zero-shot »), et excellent dans des tâches complexes telles que les opérations en plusieurs étapes et la coordination des deux bras.
Co-développé par des experts de premier plan en robotique, notamment des membres clés du NVIDIA GEAR Lab et de l’équipe de Li Fei-Fei, ce système open source promet de transformer le développement de l’IA incarnée. En remplaçant la collecte manuelle et coûteuse de données par une technologie générative, les robots peuvent désormais passer beaucoup plus rapidement du laboratoire aux applications concrètes.
Lien vers l'article : https://arxiv.org/pdf/2606.28276v1
Le Sénat exige que les centres de données révèlent leurs factures d'électricité
Deux sénateurs américains ont intensifié leur campagne contre les centres de données et leur consommation d’énergie, en adressant une lettre à l’Administration américaine de l’information sur l’énergie (EIA) jeudi. Les sénateurs Josh Hawley et Elizab
Mira Murati revient sur le devan avec une approche prudente
Mira Murati n’a jamais été une figure naturelle du circuit des conférences. En tant que CTO d’OpenAI, elle est restée largement dans l’ombre, servant rarement de visage public à l’entreprise. Maintenant à la tête de sa propre entreprise, Thinking Mac
Rapport Adobe Creator : 80 % des personnes interrogées affirment que l'IA favorise la croissance de leur communauté et de leur activité
Alors que l'intelligence artificielle accélère son expansion mondiale, le secteur de la création de contenu connaît une mutation profonde. Les outils d'IA créative ne se contentent plus d'optimiser le











