Nvidia setzt bei humanoider Robotik mit Cloud-Unterstützung fort

Nvidia stürmt mit voller Geschwindigkeit in den Bereich der humanoiden Robotik und hält sich nicht zurück. Auf der Computex 2025 in Taiwan stellten sie eine Reihe von Innovationen vor, die die Landschaft der Robotikentwicklung neu definieren werden. Das Highlight war Nvidia Isaac GR00T N1.5, die neueste Version von Nvidias offenem, vollständig anpassbarem Basismodell für humanoides Denken und Fähigkeiten. Daneben präsentierte Nvidia Isaac GR00T-Dreams, einen Bauplan zur Erzeugung synthetischer Bewegungsdaten, und die leistungsstarken Nvidia Blackwell-Systeme, die die Entwicklung humanoider Roboter beschleunigen sollen.

Eine Reihe führender Entwickler von humanoiden Robotern, darunter Agility Robotics, Boston Dynamics, Fourier, Foxlink, Galbot, Mentee Robotics, NEURA Robotics, General Robotics, Skild AI und XPENG Robotics, nutzen bereits Nvidias Isaac-Plattformtechnologien, um die Grenzen des Möglichen mit humanoiden Robotern zu erweitern.

Jensen Huang, Nvidias CEO, konnte seine Begeisterung nicht zurückhalten und sagte: „Physische KI und Robotik werden die nächste industrielle Revolution einleiten. Von KI-Gehirnen für Roboter über simulierte Welten zum Üben bis hin zu KI-Supercomputern für das Training von Basismodellen bietet Nvidia Bausteine für jede Phase der Robotikentwicklung.“

Neuer Isaac GR00T-Daten_generierungs-Bauplan schließt die Datenlücke

Haben Sie sich je gefragt, wie es wäre, einen eigenen humanoiden Roboter zu besitzen? Während seiner Keynote auf der Computex präsentierte Huang Nvidia Isaac GR00T-Dreams, einen bahnbrechenden Bauplan, der enorme Mengen an synthetischen Bewegungsdaten oder neuronalen Trajektorien erzeugt. Diese Daten sind ein Schatz für Entwickler physischer KI, um Robotern neue Verhaltensweisen und die Anpassung an sich verändernde Umgebungen beizubringen.

Der Prozess beginnt damit, dass Entwickler Cosmos Predict-Welt-Basismodelle (WFMs) für ihre Roboter nachschulen. Mit nur einem Bild als Eingabe generiert GR00T-Dreams Videos von Robotern, die neue Aufgaben in neuen Umgebungen bewältigen. Anschließend extrahiert es Aktions-Token – kleine, leicht verdauliche Datenstücke –, die die Roboter nutzen, um diese neuen Aufgaben zu lernen.

GR00T-Dreams arbeitet Hand in Hand mit dem Isaac GR00T-Mimic-Bauplan, der bereits auf der Nvidia GTC-Konferenz im März vorgestellt wurde. Während GR00T-Mimic Nvidia Omniverse und Nvidia Cosmos nutzt, um bestehende Daten zu verbessern, erstellt GR00T-Dreams mit Cosmos völlig neue Daten von Grund auf.

Jim Fan, Nvidias Direktor für KI und angesehener Wissenschaftler, teilte seine Begeisterung in einer Pressekonferenz mit: „Nvidia verfolgt eine sehr starke Robotikstrategie, die sich um das von Jensen genannte Drei-Computer-Problem dreht.“ Er erklärte, dass der OVX-Computer Simulationen und physikalische Simulations-Engines übernimmt, Daten erzeugt, die der DGX-Computer dann zum Trainieren von Basismodellen verwendet. Diese Daten werden anschließend auf den HX-Computer übertragen, der die Steuerung am Edge für Plattformen wie humanoide Roboter übernimmt.

Fan bezeichnete Gr00t stolz als den Lebenszyklus physischer KI und roboterbasierter Arbeitsabläufe und betonte: „Es ist eine Umsetzung des Drei-Computer-Problems.“ Er hob zwei große Fortschritte in Projekt Gr00t hervor: Gr00t Dreams und Gr00t N1.5, und fügte scherzend hinzu, dass er sehr stolz auf diese Namen sei.

Für Gr00t Dreams beschrieb Fan es als ein Modell, das Videos generiert, um Roboter zu trainieren. Er zeigte zahlreiche Videos, alle von Nvidia Cosmos generiert, und erklärte: „Wir haben einen Weg gefunden, fortschrittliche Videogenerierungsmodelle wie Cosmos einzusetzen, um die humanoide Robotik zu unterstützen. Auf hohem Niveau funktioniert diese Methode so, dass wir Cosmos zunächst mit Robotervideos aus unserem Labor optimieren, sodass dieses Videomodell nun auf die Roboter in unserem Labor angepasst ist. Dann können wir dieses optimierte Modell verwenden, um prinzipiell eine unendliche Anzahl von Traumvideos zu generieren, indem wir das Modell auf verschiedene Weise anstoßen. Diese werden zu synthetischen Daten, die unsere echten Roboterdatensätze erweitern. Wie viele von Ihnen wissen, ist das Sammeln von Daten an echten Robotern sehr zeitaufwendig und kostspielig, da Sie grundsätzlich auf 24 Stunden pro Roboter pro Tag beschränkt sind, richtig? Es ist ein physisches System, aber mit Gr00t Dreams, diesem neuen Workflow, diesem neuen Satz von Algorithmen, können wir diese grundlegende physische Grenze durchbrechen und Daten in einem noch nie dagewesenen Ausmaß vervielfachen.“

Das Ergebnis? Roboter, die Objekte korrekt aufnehmen können, sei es eine Gurke, das Einschenken von Orangensaft oder das Öffnen eines Laptops. Diese Aktionen wurden dem Roboter nie beigebracht, bemerkte Fan, aber dank des Trainings mit Videomodellen kann der Roboter „die Physik und die Bedeutung dieser Verben verstehen“ und lernen, sie auszuführen.

Neue Isaac GR00T-Modelle fördern die Entwicklung humanoider Roboter

Nvidias GR00T-Dreams-Bauplan ist nicht nur Gerede; er wurde eingesetzt, um synthetische Trainingsdaten zu generieren und GR00T N1.5 in nur 36 Stunden zu entwickeln – eine Aufgabe, die ohne den Bauplan fast drei Monate gedauert hätte. GR00T N1.5 kann sich nun besser an neue Umgebungen und Arbeitsplatzkonfigurationen anpassen sowie Objekte durch Benutzeranweisungen erkennen. Dieses Update steigert die Erfolgsrate des Modells bei alltäglichen Aufgaben wie Sortieren oder Verstauen von Objekten erheblich und ist bereit für die Bereitstellung auf Jetson Thor, der später in diesem Jahr auf den Markt kommt.

Das GR00T N1.5-Basismodell integriert Gr00t Dreams in seine Pipeline zur Generierung synthetischer Daten. Nvidia hat das visuelle Sprachgerüst verbessert, um sicherzustellen, dass GR00T N1.5 eine überlegene Anpassungsfähigkeit und bessere Einhaltung von Sprachanweisungen bietet, so Fan.

GR00T N1.5 wird auf der Computex debütieren und bis zum 9. Juni als Open Source veröffentlicht. Für Gr00t Dreams optimiert Nvidia noch den Zeitplan, strebt aber an, so viel wie möglich als Open Source freizugeben, fügte Fan hinzu.

Frühe Nutzer von GR00T sind AeiRobot, Foxlink, Lightwheel und NEURA Robotics. AeiRobot nutzt das Modell, um ALICE4 das Verstehen natürlicher Sprachanweisungen und das Ausführen komplexer Pick-and-Place-Workflows in industriellen Umgebungen zu ermöglichen. Foxlink Group nutzt es, um die Flexibilität und Effizienz industrieller Roboter-Manipulatoren zu verbessern, während Lightwheel synthetische Daten validiert, um humanoide Roboter schneller in Fabriken einzusetzen. NEURA Robotics erforscht das Modell, um die Entwicklung der Haushaltsautomatisierung zu beschleunigen.

Neue Robotersimulations- und Datengenerierungs-Frameworks beschleunigen Trainings-Pipelines

Die Entwicklung hochqualifizierter humanoider Roboter dreht sich nicht nur um die Hardware; es geht darum, ihnen eine enorme Menge vielfältiger Daten zu liefern, deren Sammlung und Verarbeitung kostspielig und zeitaufwendig sein kann. Zudem bringt das Testen von Robotern in der realen Welt eigene Herausforderungen und Risiken mit sich.

Um diese Lücken zu schließen, stellte Nvidia mehrere Simulationstechnologien vor:

• Nvidia Cosmos Reason, ein neues WFM, das kettenartiges Denken nutzt, um präzise, qualitativ hochwertige synthetische Daten für das Training physischer KI-Modelle zu kuratieren, jetzt auf Hugging Face verfügbar.
• Cosmos Predict 2, verwendet in GR00T Dreams, bald auf Hugging Face mit Leistungsverbesserungen für qualitativ hochwertige Welterzeugung und reduzierte Halluzinationen.
• Nvidia Isaac GR00T-Mimic, ein Bauplan zur Generierung exponentiell großer Mengen synthetischer Bewegungstrajektorien für Roboter-Manipulationen, basierend auf wenigen menschlichen Demonstrationen.
• Open-Source-Datensatz für physische KI, der nun 24.000 qualitativ hochwertige Bewegungstrajektorien humanoider Roboter enthält, die zur Entwicklung der GR00T N-Modelle verwendet wurden.
• Nvidia Isaac Sim 5.0, ein Framework für Simulation und synthetische Datengenerierung, jetzt offen auf GitHub verfügbar.
• Nvidia Isaac Lab 2.2, ein Open-Source-Lernframework für Roboter, das neue Evaluationsumgebungen enthält, um Entwicklern beim Testen von GR00T N-Modellen zu helfen.

Foxconn und Foxlink nutzen bereits den GR00T-Mimic-Bauplan, um ihre Robotik-Trainings-Pipelines zu beschleunigen. Unterdessen simulieren und trainieren Agility Robotics, Boston Dynamics, Fourier, Mentee Robotics, NEURA Robotics und XPENG Robotics ihre humanoiden Roboter mit Nvidia Isaac Sim und Isaac Lab. Skild AI entwickelt allgemeine Roboterintelligenz mit diesen Simulations-Frameworks, und General Robotics integriert sie in seine Roboterintelligenz-Plattform.

Universelle Blackwell-Systeme für Roboterentwickler

Globale Systemhersteller engagieren sich und bauen Nvidia RTX PRO 6000 Workstations und Server. Diese Systeme bieten eine einheitliche Architektur, die jede Arbeitslast der Roboterentwicklung bewältigen kann, vom Training und der synthetischen Datengenerierung bis hin zum Roboterlernen und der Simulation.

Cisco, Dell Technologies, Hewlett Packard Enterprise, Lenovo und Supermicro haben Nvidia RTX PRO 6000 Blackwell-betriebene Server angekündigt, während Dell Technologies und Lenovo auch Nvidia RTX PRO 6000 Blackwell-betriebene Workstations vorgestellt haben.

Für Zeiten, in denen noch mehr Rechenleistung für groß angelegte Trainings- oder Datengenerierungs-Workloads benötigt wird, können Entwickler auf Nvidia Blackwell-Systeme wie GB200 NVL72 zurückgreifen. Diese Systeme sind über Nvidia DGX Cloud auf führenden Cloud-Anbietern und Nvidia Cloud Partnern verfügbar und versprechen bis zu 18-fache Leistung für die Datenverarbeitung.