Heim
Li Feifeis Team stellt eine Methode vor, mit der sich aus einem einzigen Video unendlich viele Trainingsumgebungen für Roboter generieren lassen
Im Bereich der verkörperten Intelligenz stellt die Überbrückung der Kluft zwischen Simulation und Realität – bekannt als „Sim2Real“ – seit langem eine hartnäckige Hürde dar. Simulationsumgebungen sind kostspielig, und Modelle verlieren häufig an Leistungsfähigkeit, wenn sie in physischen Umgebungen eingesetzt werden. Eine aktuelle gemeinsame Studie des Teams um Li Fei-Fei, des NVIDIA GEAR Lab und der Georgia Tech stellt eine neuartige Lösung vor: Real2Sim.
Dieses System mit dem Namen „SimFoundry“ erstellt interaktive, trainierbare und testbare Robotersimulationen anhand einfacher Videos aus der realen Welt. SimFoundry geht über die herkömmliche 3D-Rekonstruktion hinaus und führt eine tiefgehende Szenenanalyse durch, um die Erstellung der Umgebung zu automatisieren, wodurch sich der Aufwand für die Erstellung von Simulationen drastisch reduziert.

Die zentrale Innovation von SimFoundry besteht in einem geschlossenen Regelkreis zwischen „digitalen Zwillingen“ und „digitalen Verwandten“. Das System extrahiert geometrische, physikalische und interaktive Daten aus Videos, um hochauflösende digitale Zwillinge zu erstellen. Anschließend variiert es automatisch Aussehen, Anordnung und Aufgaben, um vielfältige digitale Cousins zu generieren. Dies ermöglicht es Entwicklern, aus einem einzigen Video praktisch unbegrenzte Trainingsdaten abzuleiten, was ein durchgängiges Lernen und Bewerten von Strategien innerhalb der Simulation ermöglicht.
Experimente bestätigen die hohe Vorhersagekraft von SimFoundry, wobei die simulierte Roboterleistung eng mit den Ergebnissen in der realen Welt übereinstimmt. Entscheidend ist, dass sich die anhand dieser synthetischen Daten trainierten Strategien ohne Feinabstimmung („Zero-Shot“) effektiv auf die Realität übertragen lassen und sich bei komplexen Aufgaben wie mehrstufigen Vorgängen und der Koordination beider Arme besonders gut bewähren.
Dieses Open-Source-System, das von führenden Robotik-Experten – darunter wichtige Mitglieder des NVIDIA GEAR Lab und des Teams von Li Fei-Fei – gemeinsam entwickelt wurde, verspricht, die Entwicklung verkörperter KI grundlegend zu verändern. Durch den Ersatz kostspieliger manueller Datenerfassung durch generative Technologie können Roboter nun wesentlich schneller den Übergang vom Labor in reale Anwendungen schaffen.
Link zur Veröffentlichung: https://arxiv.org/pdf/2606.28276v1
Verwandter Artikel
Der Senat fordert, dass Rechenzentren ihre Stromrechnungen offenlegen
Zwei US-Senatoren haben ihre Kampagne gegen Rechenzentren und deren Energieverbrauch verschärft, indem sie am Donnerstag einen Brief an die US Energy Information Administration (EIA) sandten. Die Senatoren Josh Hawley und Elizabeth Warren baten die B
Mira Murati tritt mit vorsichtigem Ansatz wieder ins Rampenlicht
Mira Murati war noch nie eine natürliche Wahl für die Konferenztour. Als CTO von OpenAI blieb sie größtenteils hinter den Kulissen und trat selten als das öffentliche Gesicht des Unternehmens auf. Jetzt, da sie ihr eigenes Unternehmen, Thinking Machi
Adobe Creator-Bericht: 80 % geben an, dass KI das Wachstum der Fangemeinde und des Unternehmens vorantreibt
Da sich die weltweite Verbreitung künstlicher Intelligenz immer weiter beschleunigt, erlebt die Branche der Inhaltserstellung einen grundlegenden Wandel. Kreative KI-Tools dienen nicht mehr nur der Op
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)
Im Bereich der verkörperten Intelligenz stellt die Überbrückung der Kluft zwischen Simulation und Realität – bekannt als „Sim2Real“ – seit langem eine hartnäckige Hürde dar. Simulationsumgebungen sind kostspielig, und Modelle verlieren häufig an Leistungsfähigkeit, wenn sie in physischen Umgebungen eingesetzt werden. Eine aktuelle gemeinsame Studie des Teams um Li Fei-Fei, des NVIDIA GEAR Lab und der Georgia Tech stellt eine neuartige Lösung vor: Real2Sim.
Dieses System mit dem Namen „SimFoundry“ erstellt interaktive, trainierbare und testbare Robotersimulationen anhand einfacher Videos aus der realen Welt. SimFoundry geht über die herkömmliche 3D-Rekonstruktion hinaus und führt eine tiefgehende Szenenanalyse durch, um die Erstellung der Umgebung zu automatisieren, wodurch sich der Aufwand für die Erstellung von Simulationen drastisch reduziert.

Die zentrale Innovation von SimFoundry besteht in einem geschlossenen Regelkreis zwischen „digitalen Zwillingen“ und „digitalen Verwandten“. Das System extrahiert geometrische, physikalische und interaktive Daten aus Videos, um hochauflösende digitale Zwillinge zu erstellen. Anschließend variiert es automatisch Aussehen, Anordnung und Aufgaben, um vielfältige digitale Cousins zu generieren. Dies ermöglicht es Entwicklern, aus einem einzigen Video praktisch unbegrenzte Trainingsdaten abzuleiten, was ein durchgängiges Lernen und Bewerten von Strategien innerhalb der Simulation ermöglicht.
Experimente bestätigen die hohe Vorhersagekraft von SimFoundry, wobei die simulierte Roboterleistung eng mit den Ergebnissen in der realen Welt übereinstimmt. Entscheidend ist, dass sich die anhand dieser synthetischen Daten trainierten Strategien ohne Feinabstimmung („Zero-Shot“) effektiv auf die Realität übertragen lassen und sich bei komplexen Aufgaben wie mehrstufigen Vorgängen und der Koordination beider Arme besonders gut bewähren.
Dieses Open-Source-System, das von führenden Robotik-Experten – darunter wichtige Mitglieder des NVIDIA GEAR Lab und des Teams von Li Fei-Fei – gemeinsam entwickelt wurde, verspricht, die Entwicklung verkörperter KI grundlegend zu verändern. Durch den Ersatz kostspieliger manueller Datenerfassung durch generative Technologie können Roboter nun wesentlich schneller den Übergang vom Labor in reale Anwendungen schaffen.
Link zur Veröffentlichung: https://arxiv.org/pdf/2606.28276v1
Der Senat fordert, dass Rechenzentren ihre Stromrechnungen offenlegen
Zwei US-Senatoren haben ihre Kampagne gegen Rechenzentren und deren Energieverbrauch verschärft, indem sie am Donnerstag einen Brief an die US Energy Information Administration (EIA) sandten. Die Senatoren Josh Hawley und Elizabeth Warren baten die B
Mira Murati tritt mit vorsichtigem Ansatz wieder ins Rampenlicht
Mira Murati war noch nie eine natürliche Wahl für die Konferenztour. Als CTO von OpenAI blieb sie größtenteils hinter den Kulissen und trat selten als das öffentliche Gesicht des Unternehmens auf. Jetzt, da sie ihr eigenes Unternehmen, Thinking Machi
Adobe Creator-Bericht: 80 % geben an, dass KI das Wachstum der Fangemeinde und des Unternehmens vorantreibt
Da sich die weltweite Verbreitung künstlicher Intelligenz immer weiter beschleunigt, erlebt die Branche der Inhaltserstellung einen grundlegenden Wandel. Kreative KI-Tools dienen nicht mehr nur der Op











