Nvidia fait avancer la robotique humanoïde avec le soutien du cloud

Nvidia se lance à pleine vitesse dans le domaine de la robotique humanoïde, et ils ne retiennent rien. Lors du salon Computex 2025 à Taïwan, ils ont dévoilé une série d'innovations qui devraient redéfinir le paysage du développement de la robotique. Parmi celles-ci, la star du salon était Nvidia Isaac GR00T N1.5, la dernière itération du modèle de base ouvert et entièrement personnalisable de Nvidia pour le raisonnement et les compétences des humanoïdes. Parallèlement, Nvidia a présenté Isaac GR00T-Dreams, un plan conçu pour générer des données de mouvement synthétiques, et les puissants systèmes Nvidia Blackwell, qui sont prêts à accélérer le développement des robots humanoïdes.

Un certain nombre de développeurs de robots humanoïdes et de robotique de premier plan, y compris Agility Robotics, Boston Dynamics, Fourier, Foxlink, Galbot, Mentee Robotics, NEURA Robotics, General Robotics, Skild AI et XPENG Robotics, sont déjà à bord, exploitant les technologies de la plateforme Isaac de Nvidia pour repousser les limites de ce qui est possible avec les robots humanoïdes.

Jensen Huang, PDG de Nvidia, ne pouvait contenir son enthousiasme, déclarant : « L'IA physique et la robotique apporteront la prochaine révolution industrielle. Des cerveaux d'IA pour les robots aux mondes simulés pour s'entraîner, ou aux superordinateurs d'IA pour former des modèles de base, Nvidia fournit les briques de construction pour chaque étape du parcours de développement de la robotique. »

Le nouveau plan de génération de données Isaac GR00T comble l'écart de données

Vous êtes-vous déjà demandé ce que ce serait d'avoir votre propre robot humanoïde ? Lors de son discours d'ouverture à Computex, Huang a présenté Nvidia Isaac GR00T-Dreams, un plan révolutionnaire qui produit de vastes quantités de données de mouvement synthétiques, ou trajectoires neuronales. Ces données sont une mine d'or pour les développeurs d'IA physique, les aidant à enseigner aux robots toute une gamme de nouveaux comportements et à s'adapter à des environnements en constante évolution.

Le processus commence avec les développeurs qui post-entraînent les modèles de base du monde Cosmos Predict (WFMs) pour leurs robots. Ensuite, avec une seule image comme entrée, GR00T-Dreams génère des vidéos du robot effectuant de nouvelles tâches dans de nouveaux environnements. Il extrait ensuite des jetons d'action — des morceaux de données petits et facilement assimilables — que les robots utilisent pour apprendre ces nouvelles tâches.

GR00T-Dreams fonctionne main dans la main avec le plan Isaac GR00T-Mimic, présenté plus tôt lors de la conférence Nvidia GTC en mars. Alors que GR00T-Mimic exploite Nvidia Omniverse et Nvidia Cosmos pour améliorer les données existantes, GR00T-Dreams utilise Cosmos pour créer de toutes nouvelles données à partir de zéro.

Jim Fan, directeur de l'IA chez Nvidia et scientifique émérite, a partagé son enthousiasme lors d'un point de presse : « Nvidia a une stratégie robotique très solide, centrée sur ce que Jensen appelle le problème des trois ordinateurs. » Il a expliqué que l'ordinateur OVX gère la simulation et les moteurs physiques de simulation graphique, générant des données que l'ordinateur DGX utilise ensuite pour entraîner des modèles de base. Ces données sont ensuite déployées sur l'ordinateur HX, qui gère les opérations à la périphérie pour des plateformes comme les robots humanoïdes.

Fan a fièrement qualifié Gr00t de cycle de vie de l'IA physique et des flux de travail basés sur les robots, soulignant : « C'est une instantiation du problème des trois ordinateurs. » Il a mis en avant deux avancées majeures dans le projet Gr00t : Gr00t Dreams et Gr00t N1.5, ajoutant en plaisantant qu'il était assez fier de ces noms.

Pour Gr00t Dreams, Fan l'a décrit comme un modèle qui génère des vidéos pour entraîner les robots. Il a présenté de nombreuses vidéos, toutes générées par Nvidia Cosmos, expliquant : « Nous avons trouvé un moyen d'appliquer des modèles avancés de génération de vidéos comme Cosmos pour aider la robotique humanoïde. À un haut niveau, cette méthode fonctionne en ajustant d'abord Cosmos sur des vidéos de robots de notre laboratoire, de sorte que ce modèle vidéo est maintenant personnalisé pour les robots de notre laboratoire. Ensuite, nous pouvons utiliser ce modèle affiné pour générer, en principe, un nombre infini de vidéos de rêve en sollicitant le modèle de différentes manières. Et maintenant, cela devient des données synthétiques pour augmenter nos ensembles de données réelles de robots. Comme beaucoup d'entre vous le savent peut-être, collecter des données sur le robot réel est très chronophage et coûteux, car vous êtes fondamentalement limité par 24 heures par robot par jour, n'est-ce pas ? C'est un système physique, mais avec Gr00t Dreams, ce nouveau flux de travail, cet ensemble d'algorithmes, nous sommes maintenant capables de briser cette limite physique fondamentale et de multiplier les données à une échelle sans précédent. »

Le résultat ? Des robots capables de ramasser des objets correctement, qu'il s'agisse d'un concombre, de verser du jus d'orange ou d'ouvrir un ordinateur portable. Ce sont des actions sur lesquelles le robot n'a jamais été entraîné, a noté Fan, mais grâce à l'entraînement avec des modèles vidéo, le robot peut « comprendre la physique et le sens de ces verbes » et apprendre à les exécuter.

Les nouveaux modèles Isaac GR00T font avancer le développement des robots humanoïdes

Le plan GR00T-Dreams de Nvidia n'est pas seulement théorique ; il a été mis en œuvre, générant des données d'entraînement synthétiques pour développer GR00T N1.5 en seulement 36 heures — une tâche qui aurait pris près de trois mois sans le plan. GR00T N1.5 peut désormais mieux s'adapter aux nouveaux environnements et configurations d'espace de travail, ainsi que reconnaître des objets grâce aux instructions des utilisateurs. Cette mise à jour améliore considérablement le taux de succès du modèle pour des tâches courantes comme le tri ou le rangement d'objets, et il est prêt à être déployé sur Jetson Thor, prévu pour un lancement plus tard cette année.

Le modèle de base GR00T N1.5 intègre Gr00t Dreams dans son pipeline de génération de données synthétiques. Nvidia a amélioré la colonne vertébrale du langage visuel, garantissant que GR00T N1.5 aura une adaptabilité supérieure et une meilleure conformité aux instructions linguistiques, selon Fan.

GR00T N1.5 fera ses débuts à Computex et sera publié en open source d'ici le 9 juin. Quant à Gr00t Dreams, Nvidia affine encore le calendrier, mais vise à rendre open source autant que possible, a ajouté Fan.

Les premiers adoptants de GR00T incluent AeiRobot, Foxlink, Lightwheel et NEURA Robotics. AeiRobot utilise le modèle pour permettre à ALICE4 de comprendre les instructions en langage naturel et d'exécuter des flux de travail complexes de prise et de placement dans des environnements industriels. Foxlink Group l'exploite pour améliorer la flexibilité et l'efficacité des manipulateurs de robots industriels, tandis que Lightwheel valide des données synthétiques pour un déploiement plus rapide des robots humanoïdes en usine. NEURA Robotics explore le modèle pour accélérer son développement de l'automatisation domestique.

Nouveaux cadres de simulation et de génération de données pour robots accélèrent les pipelines d'entraînement

Créer des robots humanoïdes hautement qualifiés ne se limite pas au matériel ; il s'agit de leur fournir une énorme quantité de données diverses, ce qui peut être coûteux et chronophage à collecter et à traiter. De plus, tester des robots dans le monde réel présente ses propres défis et risques.

Pour combler ces lacunes, Nvidia a introduit plusieurs technologies de simulation :

• Nvidia Cosmos Reason, un nouveau WFM qui utilise le raisonnement par chaîne de pensée pour aider à sélectionner des données synthétiques précises et de haute qualité pour l'entraînement des modèles d'IA physique, désormais disponible sur Hugging Face.
• Cosmos Predict 2, utilisé dans GR00T Dreams, bientôt disponible sur Hugging Face avec des améliorations de performance pour une génération de monde de haute qualité et une réduction des hallucinations.
• Nvidia Isaac GR00T-Mimic, un plan pour générer des quantités exponentiellement grandes de trajectoires de mouvement synthétiques pour la manipulation de robots, en utilisant seulement quelques démonstrations humaines.
• Ensemble de données d'IA physique open source, incluant désormais 24 000 trajectoires de mouvement de robots humanoïdes de haute qualité utilisées pour développer les modèles GR00T N.
• Nvidia Isaac Sim 5.0, un cadre de simulation et de génération de données synthétiques, désormais ouvertement disponible sur GitHub.
• Nvidia Isaac Lab 2.2, un cadre d'apprentissage robotique open source, qui inclura de nouveaux environnements d'évaluation pour aider les développeurs à tester les modèles GR00T N.

Foxconn et Foxlink utilisent déjà le plan GR00T-Mimic pour accélérer leurs pipelines d'entraînement robotique. Pendant ce temps, Agility Robotics, Boston Dynamics, Fourier, Mentee Robotics, NEURA Robotics et XPENG Robotics simulent et entraînent leurs robots humanoïdes avec Nvidia Isaac Sim et Isaac Lab. Skild AI développe une intelligence robotique générale avec ces cadres de simulation, et General Robotics les intègre dans sa plateforme d'intelligence robotique.

Systèmes Blackwell universels pour les développeurs de robots

Les fabricants de systèmes mondiaux se mobilisent, construisant des stations de travail et des serveurs Nvidia RTX PRO 6000. Ces systèmes offrent une architecture unifiée capable de gérer toutes les charges de travail de développement de robots, de l'entraînement et de la génération de données synthétiques à l'apprentissage et à la simulation des robots.

Cisco, Dell Technologies, Hewlett Packard Enterprise, Lenovo et Supermicro ont tous annoncé des serveurs Nvidia RTX PRO 6000 alimentés par Blackwell, tandis que Dell Technologies et Lenovo ont également dévoilé des stations de travail Nvidia RTX PRO 6000 alimentées par Blackwell.

Pour les moments où vous avez besoin de encore plus de puissance de calcul pour exécuter des charges de travail d'entraînement ou de génération de données à grande échelle, les développeurs peuvent se tourner vers les systèmes Nvidia Blackwell comme GB200 NVL72. Disponibles via Nvidia DGX Cloud sur les principaux fournisseurs de cloud et les partenaires Nvidia Cloud, ces systèmes promettent jusqu'à 18 fois plus de performances pour le traitement des données.