Nvidia fait avancer la robotique humanoïde avec le soutien du cloud
Nvidia fonce à toute vitesse dans le domaine de la robotique humanoïde, sans retenue. Lors du salon Computex 2025 à Taïwan, ils ont dévoilé une série d'innovations qui sont sur le point de redéfinir le paysage du développement robotique. Parmi celles-ci, la star du spectacle était Nvidia Isaac GR00T N1.5, la dernière itération du modèle de base ouvert et entièrement personnalisable de Nvidia pour le raisonnement et les compétences humanoïdes. À ses côtés, Nvidia a présenté Isaac GR00T-Dreams, un blueprint conçu pour générer des données de mouvement synthétiques, et les puissants systèmes Nvidia Blackwell, qui sont prêts à accélérer le développement des robots humanoïdes.
De nombreux développeurs de robots humanoïdes et de robotique de premier plan, y compris Agility Robotics, Boston Dynamics, Fourier, Foxlink, Galbot, Mentee Robotics, NEURA Robotics, General Robotics, Skild AI et XPENG Robotics, sont déjà à bord, exploitant les technologies de la plateforme Isaac de Nvidia pour repousser les limites de ce qui est possible avec les robots humanoïdes.
Jensen Huang, PDG de Nvidia, n'a pu contenir son enthousiasme, déclarant : "L'IA physique et la robotique vont provoquer la prochaine révolution industrielle. Des cerveaux IA pour les robots aux mondes simulés pour s'entraîner, en passant par les superordinateurs IA pour entraîner les modèles de base, Nvidia fournit les éléments de base pour chaque étape du parcours de développement de la robotique."
Nouveau blueprint de génération de données Isaac GR00T comble le fossé des données
Vous êtes-vous déjà demandé ce que ce serait d'avoir votre propre robot humanoïde ? Lors de son discours d'ouverture à Computex, Huang a présenté Nvidia Isaac GR00T-Dreams, un blueprint révolutionnaire qui génère des quantités énormes de données de mouvement synthétiques, ou trajectoires neurales. Ces données sont une mine d'or pour les développeurs d'IA physique, les aidant à enseigner aux robots toute une gamme de nouveaux comportements et à s'adapter à des environnements en constante évolution.
Le processus commence par les développeurs qui post-entraînent les modèles de base du monde Cosmos Predict (WFMs) pour leurs robots. Ensuite, avec une seule image comme entrée, GR00T-Dreams génère des vidéos du robot affrontant de nouvelles tâches dans de nouveaux contextes. Il extrait ensuite des tokens d'action – des morceaux de données faciles à digérer – que les robots utilisent pour apprendre ces nouvelles tâches.
GR00T-Dreams travaille main dans la main avec le blueprint Isaac GR00T-Mimic, introduit plus tôt lors de la conférence Nvidia GTC en mars. Alors que GR00T-Mimic exploite Nvidia Omniverse et Nvidia Cosmos pour améliorer les données existantes, GR00T-Dreams utilise Cosmos pour créer des données entièrement nouvelles à partir de zéro.
Jim Fan, directeur de l'IA chez Nvidia et scientifique distingué, a partagé son enthousiasme lors d'une conférence de presse, "Nvidia a une stratégie robotique très forte, centrée sur ce que Jensen appelle le problème des trois ordinateurs." Il a expliqué que l'ordinateur OVX gère la simulation et les moteurs de physique de simulation graphique, générant des données que l'ordinateur DGX utilise ensuite pour entraîner les modèles de base. Ces données sont ensuite déployées sur l'ordinateur HX, qui dirige les opérations sur le bord pour des plateformes comme les robots humanoïdes.
Fan a fièrement qualifié Gr00t de cycle de vie de l'IA physique et des flux de travail basés sur les robots, soulignant : "C'est une instanciation du problème des trois ordinateurs." Il a mis en avant deux avancées majeures dans le projet Gr00t : Gr00t Dreams et Gr00t N1.5, ajoutant avec humour qu'il était assez fier de ces noms.
Pour Gr00t Dreams, Fan l'a décrit comme un modèle qui génère des vidéos pour entraîner les robots. Il a montré de nombreuses vidéos, toutes générées par Nvidia Cosmos, expliquant : "Nous avons trouvé un moyen d'appliquer des modèles avancés de génération de vidéos comme Cosmos pour aider la robotique humanoïde. Donc, à un niveau élevé, comment cette méthode fonctionne, c'est que nous affinons d'abord Cosmos sur des vidéos de robots de notre laboratoire afin que ce modèle vidéo soit maintenant personnalisé pour les robots de notre laboratoire. Ensuite, nous pouvons utiliser ce modèle affiné pour générer, en principe, un nombre infini de vidéos de rêve en incitant le modèle de différentes manières. Et maintenant, cela devient des données synthétiques pour augmenter nos ensembles de données de robots réels. Comme beaucoup d'entre vous le savent peut-être, collecter des données sur le robot réel est très chronophage et coûteux car vous êtes fondamentalement limité à 24 heures par robot par jour, n'est-ce pas ? C'est un système physique, mais avec Gr00t Dreams, ce nouveau flux de travail, cet ensemble d'algorithmes, maintenant nous pouvons briser cette limite physique fondamentale et multiplier les données à une échelle sans précédent."
Le résultat ? Des robots capables de saisir correctement des objets, qu'il s'agisse d'un concombre, de verser du jus d'orange ou d'ouvrir un ordinateur portable. Ce sont des actions sur lesquelles le robot n'a jamais été entraîné, a noté Fan, mais grâce à l'entraînement avec des modèles vidéo, le robot peut "comprendre la physique et le sens de ces verbes" et apprendre à les exécuter.
Nouveaux modèles Isaac GR00T font avancer le développement des robots humanoïdes
Le blueprint GR00T-Dreams de Nvidia n'est pas que des paroles ; il a été mis en œuvre, générant des données d'entraînement synthétiques pour développer GR00T N1.5 en seulement 36 heures – une tâche qui aurait pris près de trois mois sans le blueprint. GR00T N1.5 peut maintenant mieux s'adapter à de nouveaux environnements et configurations d'espace de travail, ainsi que reconnaître des objets grâce aux instructions de l'utilisateur. Cette mise à jour améliore considérablement le taux de réussite du modèle pour des tâches courantes comme le tri ou le rangement d'objets, et il est prêt à être déployé sur Jetson Thor, prévu pour être lancé plus tard cette année.
Le modèle de base GR00T N1.5 intègre Gr00t Dreams dans son pipeline de génération de données synthétiques. Nvidia a amélioré la colonne vertébrale du langage visuel, garantissant que GR00T N1.5 aura une meilleure adaptabilité et une meilleure conformité aux instructions linguistiques, selon Fan.
GR00T N1.5 est sur le point de faire ses débuts à Computex et sera publié en open source d'ici le 9 juin. Quant à Gr00t Dreams, Nvidia affine toujours le calendrier mais vise à rendre open source autant que possible, a ajouté Fan.
Les premiers adoptants de GR00T N incluent AeiRobot, Foxlink, Lightwheel et NEURA Robotics. AeiRobot utilise le modèle pour permettre à ALICE4 de comprendre les instructions en langage naturel et d'exécuter des flux de travail complexes de préhension et de placement dans des environnements industriels. Le groupe Foxlink l'exploite pour améliorer la flexibilité et l'efficacité des manipulateurs de robots industriels, tandis que Lightwheel valide les données synthétiques pour un déploiement plus rapide des robots humanoïdes dans les usines. NEURA Robotics explore le modèle pour accélérer son développement de l'automatisation domestique.
Nouveaux cadres de simulation et de génération de données accélèrent les pipelines d'entraînement
Créer des robots humanoïdes hautement qualifiés ne se limite pas au matériel ; il s'agit aussi de leur fournir une quantité massive de données diversifiées, ce qui peut être coûteux et chronophage à collecter et à traiter. De plus, tester des robots dans le monde réel présente ses propres défis et risques.
Pour combler ces lacunes, Nvidia a introduit plusieurs technologies de simulation :
- Nvidia Cosmos Reason, un nouveau WFM qui utilise le raisonnement par chaîne de pensées pour aider à créer des données synthétiques précises et de haute qualité pour l'entraînement des modèles d'IA physique, maintenant disponible sur Hugging Face.
- Cosmos Predict 2, utilisé dans GR00T Dreams, bientôt disponible sur Hugging Face avec des améliorations de performance pour la génération de mondes de haute qualité et la réduction des hallucinations.
- Nvidia Isaac GR00T-Mimic, un blueprint pour générer des quantités exponentiellement grandes de trajectoires de mouvement synthétiques pour la manipulation des robots, en utilisant seulement quelques démonstrations humaines.
- Jeu de données d'IA physique open source, incluant désormais 24 000 trajectoires de mouvement de robots humanoïdes de haute qualité utilisées pour développer les modèles GR00T N.
- Nvidia Isaac Sim 5.0, un cadre de simulation et de génération de données synthétiques, maintenant disponible ouvertement sur GitHub.
- Nvidia Isaac Lab 2.2, un cadre d'apprentissage robotique open source, qui inclura de nouveaux environnements d'évaluation pour aider les développeurs à tester les modèles GR00T N.
Foxconn et Foxlink utilisent déjà le blueprint GR00T-Mimic pour accélérer leurs pipelines d'entraînement en robotique. Pendant ce temps, Agility Robotics, Boston Dynamics, Fourier, Mentee Robotics, NEURA Robotics et XPENG Robotics simulent et entraînent leurs robots humanoïdes avec Nvidia Isaac Sim et Isaac Lab. Skild AI développe une intelligence robotique générale avec ces cadres de simulation, et General Robotics les intègre dans sa plateforme d'intelligence robotique.
Systèmes universels Blackwell pour les développeurs de robots
Les fabricants de systèmes mondiaux montent en puissance, construisant des stations de travail et des serveurs Nvidia RTX PRO 6000. Ces systèmes offrent une architecture unifiée capable de gérer toutes les charges de travail de développement de robots, de l'entraînement et de la génération de données synthétiques à l'apprentissage et à la simulation des robots.
Cisco, Dell Technologies, Hewlett Packard Enterprise, Lenovo et Supermicro ont tous annoncé des serveurs alimentés par Nvidia RTX PRO 6000 Blackwell, tandis que Dell Technologies et Lenovo ont également révélé des stations de travail alimentées par Nvidia RTX PRO 6000 Blackwell.
Pour les moments où vous avez besoin de plus de puissance de calcul pour exécuter des charges de travail de formation ou de génération de données à grande échelle, les développeurs peuvent se tourner vers les systèmes Nvidia Blackwell comme GB200 NVL72. Disponibles via Nvidia DGX Cloud sur les principaux fournisseurs de cloud et les partenaires cloud de Nvidia, ces systèmes promettent jusqu'à 18 fois plus de performance pour le traitement des données.
Article connexe
華為超節點384打亂英偉達AI市場壟斷
華為在人工智慧處理架構上的突破：超節點384在人工智慧不斷發展的背景下，華為憑藉其超節點384架構在處理器設計上取得了巨大的進步。這一突破發生在中美科技緊張局勢升級的情況下，展現了華為在逆境中的韌性和創意。該發佈會於上周在深圳舉行的鯤鵬昇騰開發者大會上進行。在會議期間，公司領導展示了超節點384如何直接挑戰Nvidia在人工智慧處理器市場上的長期主導地位。在
Nvidia AI助手在Windows上新增Spotify、Twitch插件
Nvidia 將其 G-Assist AI 助理在 Windows 上提升到新的高度，不再僅限於調整遊戲和系統設置。上個月初次推出的 G-Assist 最初是一個旨在增強 PC 遊戲體驗的聊天機器人，現在則隨著插件支援的加入而進化。這次更新讓 AI 能夠擴展其功能範圍，讓你能夠控制 Spotify，檢查你喜愛的實況主是否在 Twitch 上直播，甚至監控股票
commentaires (0)
0/200
Nvidia fonce à toute vitesse dans le domaine de la robotique humanoïde, sans retenue. Lors du salon Computex 2025 à Taïwan, ils ont dévoilé une série d'innovations qui sont sur le point de redéfinir le paysage du développement robotique. Parmi celles-ci, la star du spectacle était Nvidia Isaac GR00T N1.5, la dernière itération du modèle de base ouvert et entièrement personnalisable de Nvidia pour le raisonnement et les compétences humanoïdes. À ses côtés, Nvidia a présenté Isaac GR00T-Dreams, un blueprint conçu pour générer des données de mouvement synthétiques, et les puissants systèmes Nvidia Blackwell, qui sont prêts à accélérer le développement des robots humanoïdes.
De nombreux développeurs de robots humanoïdes et de robotique de premier plan, y compris Agility Robotics, Boston Dynamics, Fourier, Foxlink, Galbot, Mentee Robotics, NEURA Robotics, General Robotics, Skild AI et XPENG Robotics, sont déjà à bord, exploitant les technologies de la plateforme Isaac de Nvidia pour repousser les limites de ce qui est possible avec les robots humanoïdes.
Jensen Huang, PDG de Nvidia, n'a pu contenir son enthousiasme, déclarant : "L'IA physique et la robotique vont provoquer la prochaine révolution industrielle. Des cerveaux IA pour les robots aux mondes simulés pour s'entraîner, en passant par les superordinateurs IA pour entraîner les modèles de base, Nvidia fournit les éléments de base pour chaque étape du parcours de développement de la robotique."
Nouveau blueprint de génération de données Isaac GR00T comble le fossé des données
Vous êtes-vous déjà demandé ce que ce serait d'avoir votre propre robot humanoïde ? Lors de son discours d'ouverture à Computex, Huang a présenté Nvidia Isaac GR00T-Dreams, un blueprint révolutionnaire qui génère des quantités énormes de données de mouvement synthétiques, ou trajectoires neurales. Ces données sont une mine d'or pour les développeurs d'IA physique, les aidant à enseigner aux robots toute une gamme de nouveaux comportements et à s'adapter à des environnements en constante évolution.
Le processus commence par les développeurs qui post-entraînent les modèles de base du monde Cosmos Predict (WFMs) pour leurs robots. Ensuite, avec une seule image comme entrée, GR00T-Dreams génère des vidéos du robot affrontant de nouvelles tâches dans de nouveaux contextes. Il extrait ensuite des tokens d'action – des morceaux de données faciles à digérer – que les robots utilisent pour apprendre ces nouvelles tâches.
GR00T-Dreams travaille main dans la main avec le blueprint Isaac GR00T-Mimic, introduit plus tôt lors de la conférence Nvidia GTC en mars. Alors que GR00T-Mimic exploite Nvidia Omniverse et Nvidia Cosmos pour améliorer les données existantes, GR00T-Dreams utilise Cosmos pour créer des données entièrement nouvelles à partir de zéro.
Jim Fan, directeur de l'IA chez Nvidia et scientifique distingué, a partagé son enthousiasme lors d'une conférence de presse, "Nvidia a une stratégie robotique très forte, centrée sur ce que Jensen appelle le problème des trois ordinateurs." Il a expliqué que l'ordinateur OVX gère la simulation et les moteurs de physique de simulation graphique, générant des données que l'ordinateur DGX utilise ensuite pour entraîner les modèles de base. Ces données sont ensuite déployées sur l'ordinateur HX, qui dirige les opérations sur le bord pour des plateformes comme les robots humanoïdes.
Fan a fièrement qualifié Gr00t de cycle de vie de l'IA physique et des flux de travail basés sur les robots, soulignant : "C'est une instanciation du problème des trois ordinateurs." Il a mis en avant deux avancées majeures dans le projet Gr00t : Gr00t Dreams et Gr00t N1.5, ajoutant avec humour qu'il était assez fier de ces noms.
Pour Gr00t Dreams, Fan l'a décrit comme un modèle qui génère des vidéos pour entraîner les robots. Il a montré de nombreuses vidéos, toutes générées par Nvidia Cosmos, expliquant : "Nous avons trouvé un moyen d'appliquer des modèles avancés de génération de vidéos comme Cosmos pour aider la robotique humanoïde. Donc, à un niveau élevé, comment cette méthode fonctionne, c'est que nous affinons d'abord Cosmos sur des vidéos de robots de notre laboratoire afin que ce modèle vidéo soit maintenant personnalisé pour les robots de notre laboratoire. Ensuite, nous pouvons utiliser ce modèle affiné pour générer, en principe, un nombre infini de vidéos de rêve en incitant le modèle de différentes manières. Et maintenant, cela devient des données synthétiques pour augmenter nos ensembles de données de robots réels. Comme beaucoup d'entre vous le savent peut-être, collecter des données sur le robot réel est très chronophage et coûteux car vous êtes fondamentalement limité à 24 heures par robot par jour, n'est-ce pas ? C'est un système physique, mais avec Gr00t Dreams, ce nouveau flux de travail, cet ensemble d'algorithmes, maintenant nous pouvons briser cette limite physique fondamentale et multiplier les données à une échelle sans précédent."
Le résultat ? Des robots capables de saisir correctement des objets, qu'il s'agisse d'un concombre, de verser du jus d'orange ou d'ouvrir un ordinateur portable. Ce sont des actions sur lesquelles le robot n'a jamais été entraîné, a noté Fan, mais grâce à l'entraînement avec des modèles vidéo, le robot peut "comprendre la physique et le sens de ces verbes" et apprendre à les exécuter.
Nouveaux modèles Isaac GR00T font avancer le développement des robots humanoïdes
Le blueprint GR00T-Dreams de Nvidia n'est pas que des paroles ; il a été mis en œuvre, générant des données d'entraînement synthétiques pour développer GR00T N1.5 en seulement 36 heures – une tâche qui aurait pris près de trois mois sans le blueprint. GR00T N1.5 peut maintenant mieux s'adapter à de nouveaux environnements et configurations d'espace de travail, ainsi que reconnaître des objets grâce aux instructions de l'utilisateur. Cette mise à jour améliore considérablement le taux de réussite du modèle pour des tâches courantes comme le tri ou le rangement d'objets, et il est prêt à être déployé sur Jetson Thor, prévu pour être lancé plus tard cette année.
Le modèle de base GR00T N1.5 intègre Gr00t Dreams dans son pipeline de génération de données synthétiques. Nvidia a amélioré la colonne vertébrale du langage visuel, garantissant que GR00T N1.5 aura une meilleure adaptabilité et une meilleure conformité aux instructions linguistiques, selon Fan.
GR00T N1.5 est sur le point de faire ses débuts à Computex et sera publié en open source d'ici le 9 juin. Quant à Gr00t Dreams, Nvidia affine toujours le calendrier mais vise à rendre open source autant que possible, a ajouté Fan.
Les premiers adoptants de GR00T N incluent AeiRobot, Foxlink, Lightwheel et NEURA Robotics. AeiRobot utilise le modèle pour permettre à ALICE4 de comprendre les instructions en langage naturel et d'exécuter des flux de travail complexes de préhension et de placement dans des environnements industriels. Le groupe Foxlink l'exploite pour améliorer la flexibilité et l'efficacité des manipulateurs de robots industriels, tandis que Lightwheel valide les données synthétiques pour un déploiement plus rapide des robots humanoïdes dans les usines. NEURA Robotics explore le modèle pour accélérer son développement de l'automatisation domestique.
Nouveaux cadres de simulation et de génération de données accélèrent les pipelines d'entraînement
Créer des robots humanoïdes hautement qualifiés ne se limite pas au matériel ; il s'agit aussi de leur fournir une quantité massive de données diversifiées, ce qui peut être coûteux et chronophage à collecter et à traiter. De plus, tester des robots dans le monde réel présente ses propres défis et risques.
Pour combler ces lacunes, Nvidia a introduit plusieurs technologies de simulation :
- Nvidia Cosmos Reason, un nouveau WFM qui utilise le raisonnement par chaîne de pensées pour aider à créer des données synthétiques précises et de haute qualité pour l'entraînement des modèles d'IA physique, maintenant disponible sur Hugging Face.
- Cosmos Predict 2, utilisé dans GR00T Dreams, bientôt disponible sur Hugging Face avec des améliorations de performance pour la génération de mondes de haute qualité et la réduction des hallucinations.
- Nvidia Isaac GR00T-Mimic, un blueprint pour générer des quantités exponentiellement grandes de trajectoires de mouvement synthétiques pour la manipulation des robots, en utilisant seulement quelques démonstrations humaines.
- Jeu de données d'IA physique open source, incluant désormais 24 000 trajectoires de mouvement de robots humanoïdes de haute qualité utilisées pour développer les modèles GR00T N.
- Nvidia Isaac Sim 5.0, un cadre de simulation et de génération de données synthétiques, maintenant disponible ouvertement sur GitHub.
- Nvidia Isaac Lab 2.2, un cadre d'apprentissage robotique open source, qui inclura de nouveaux environnements d'évaluation pour aider les développeurs à tester les modèles GR00T N.
Foxconn et Foxlink utilisent déjà le blueprint GR00T-Mimic pour accélérer leurs pipelines d'entraînement en robotique. Pendant ce temps, Agility Robotics, Boston Dynamics, Fourier, Mentee Robotics, NEURA Robotics et XPENG Robotics simulent et entraînent leurs robots humanoïdes avec Nvidia Isaac Sim et Isaac Lab. Skild AI développe une intelligence robotique générale avec ces cadres de simulation, et General Robotics les intègre dans sa plateforme d'intelligence robotique.
Systèmes universels Blackwell pour les développeurs de robots
Les fabricants de systèmes mondiaux montent en puissance, construisant des stations de travail et des serveurs Nvidia RTX PRO 6000. Ces systèmes offrent une architecture unifiée capable de gérer toutes les charges de travail de développement de robots, de l'entraînement et de la génération de données synthétiques à l'apprentissage et à la simulation des robots.
Cisco, Dell Technologies, Hewlett Packard Enterprise, Lenovo et Supermicro ont tous annoncé des serveurs alimentés par Nvidia RTX PRO 6000 Blackwell, tandis que Dell Technologies et Lenovo ont également révélé des stations de travail alimentées par Nvidia RTX PRO 6000 Blackwell.
Pour les moments où vous avez besoin de plus de puissance de calcul pour exécuter des charges de travail de formation ou de génération de données à grande échelle, les développeurs peuvent se tourner vers les systèmes Nvidia Blackwell comme GB200 NVL72. Disponibles via Nvidia DGX Cloud sur les principaux fournisseurs de cloud et les partenaires cloud de Nvidia, ces systèmes promettent jusqu'à 18 fois plus de performance pour le traitement des données.
華為超節點384打亂英偉達AI市場壟斷
華為在人工智慧處理架構上的突破：超節點384在人工智慧不斷發展的背景下，華為憑藉其超節點384架構在處理器設計上取得了巨大的進步。這一突破發生在中美科技緊張局勢升級的情況下，展現了華為在逆境中的韌性和創意。該發佈會於上周在深圳舉行的鯤鵬昇騰開發者大會上進行。在會議期間，公司領導展示了超節點384如何直接挑戰Nvidia在人工智慧處理器市場上的長期主導地位。在
Nvidia AI助手在Windows上新增Spotify、Twitch插件
Nvidia 將其 G-Assist AI 助理在 Windows 上提升到新的高度，不再僅限於調整遊戲和系統設置。上個月初次推出的 G-Assist 最初是一個旨在增強 PC 遊戲體驗的聊天機器人，現在則隨著插件支援的加入而進化。這次更新讓 AI 能夠擴展其功能範圍，讓你能夠控制 Spotify，檢查你喜愛的實況主是否在 Twitch 上直播，甚至監控股票
