Maison
Cosmos3, premier modèle d'IA physique multimodal entièrement open source, fait son apparition ; NVIDIA cofonde la Cosmos Alliance
Des progrès significatifs ont été réalisés dans le domaine de l'intelligence artificielle physique. Le 1er juin, NVIDIA a officiellement lancé Cosmos3, un grand modèle fondamental en monde ouvert dédié à l'IA physique. Premier grand modèle d'IA physique multimodal et entièrement open source au monde, il utilise une architecture Transformer hybride innovante qui combine le raisonnement visuel, la génération d'environnements et la prédiction d'actions au sein d'un seul système. Cela pourrait réduire considérablement le cycle de formation et d'évaluation de l'IA physique, le faisant passer de plusieurs mois à quelques jours seulement.
Cosmos3 offre une nouvelle solution au défi de longue date de l'industrie : « la difficulté à généraliser dans des scénarios du monde réel avec des données limitées et des cadres de simulation fragmentés ». Le modèle a été entraîné sur un ensemble de données massif d’IA physique contenant des milliards de textes, d’images, de vidéos, de fichiers audio et de trajectoires de mouvement. Il est capable de comprendre et de générer naturellement du contenu cross-modal, atteignant ainsi une précision de pointe dans la simulation physique.

Sur le plan technique, Cosmos3 combine de manière innovante un Transformer de raisonnement avec un Transformer génératif. Le modèle analyse d’abord en profondeur les règles d’interaction des objets, les états de mouvement et les relations spatio-temporelles, puis génère avec précision des vidéos et prédit les trajectoires d’action. Cette conception lui confère une solide compréhension multimodale des images et du texte, la capacité de simuler et de prédire des environnements physiques, ainsi que des capacités de stratégie d’action pour aider les robots à accomplir des tâches spécifiques. Dans plusieurs benchmarks phares de l’IA physique, notamment Artificial Analysis, Physics-IQ et RoboLab, Cosmos3 se classe parmi les meilleurs modèles open source.
Afin de s'adapter aux différentes étapes de développement, NVIDIA a publié plusieurs versions : Cosmos3Super, axé sur l'entraînement secondaire de modèles de robotique et de conduite autonome avec une précision extrême, et Cosmos3Nano, capable d'effectuer une analyse vidéo de haute qualité et un raisonnement d'action en quelques secondes. Les deux sont désormais officiellement disponibles. La version Cosmos3Edge, conçue pour l'inférence en temps réel sur des périphériques de bord, figure également dans la feuille de route des lancements.
Parallèlement au lancement de ce modèle de grande envergure, NVIDIA a cofondé la « NVIDIA Cosmos Coalition » avec des équipes de recherche de premier plan et des développeurs d’IA du monde entier, notamment Agile Robots, Black Forest Labs, Generalist, LTX, Runway et Skild AI. Jensen Huang, fondateur et PDG de NVIDIA, a déclaré qu'avec les avancées continues en matière de raisonnement multimodal et de modèles du monde, l'ère transformatrice de l'IA physique était arrivée. La sortie de ces modèles open source de pointe aidera les développeurs du monde entier à réaliser des avancées technologiques et à créer la prochaine génération de systèmes intelligents capables de percevoir, de raisonner et d'agir dans le monde réel.
Article connexe
PDG de DeepMind, Hassabis : Je dors six heures par jour et je me sens généralement plein d’énergie vers 1 h du matin.
Fortune a récemment publié une interview avec Demis Hassabis, PDG de Google DeepMind, révélant son approche non conventionnelle du repos et de la productivité. Hassabis a divulgué qu’il dort très peu, structurant ses heures d’éveil en deux blocs de t
OpenAI et Anthropic se disputent des parts de marché malgré des résultats en deçà des attentes
Bien que des informations récentes laissent entendre qu’OpenAI n’aurait pas atteint ses objectifs de chiffre d’affaires, ce qui a pesé sur les valeurs technologiques ce mardi, les investisseurs privés
Conformité des véhicules autonomes en Californie : une nouvelle ère marquée par les amendes, les zones de géolocalisation et 1 million de miles
Guident exploite une navette AuveTech dans le sud de la Floride, gérant un parcours de quatre miles à West Palm Beach et un parcours d’un mile à Boca Raton grâce à sa technologie de surveillance à dis
Recommandations de sujets spéciaux liés
commentaires (0)
Des progrès significatifs ont été réalisés dans le domaine de l'intelligence artificielle physique. Le 1er juin, NVIDIA a officiellement lancé Cosmos3, un grand modèle fondamental en monde ouvert dédié à l'IA physique. Premier grand modèle d'IA physique multimodal et entièrement open source au monde, il utilise une architecture Transformer hybride innovante qui combine le raisonnement visuel, la génération d'environnements et la prédiction d'actions au sein d'un seul système. Cela pourrait réduire considérablement le cycle de formation et d'évaluation de l'IA physique, le faisant passer de plusieurs mois à quelques jours seulement.
Cosmos3 offre une nouvelle solution au défi de longue date de l'industrie : « la difficulté à généraliser dans des scénarios du monde réel avec des données limitées et des cadres de simulation fragmentés ». Le modèle a été entraîné sur un ensemble de données massif d’IA physique contenant des milliards de textes, d’images, de vidéos, de fichiers audio et de trajectoires de mouvement. Il est capable de comprendre et de générer naturellement du contenu cross-modal, atteignant ainsi une précision de pointe dans la simulation physique.

Sur le plan technique, Cosmos3 combine de manière innovante un Transformer de raisonnement avec un Transformer génératif. Le modèle analyse d’abord en profondeur les règles d’interaction des objets, les états de mouvement et les relations spatio-temporelles, puis génère avec précision des vidéos et prédit les trajectoires d’action. Cette conception lui confère une solide compréhension multimodale des images et du texte, la capacité de simuler et de prédire des environnements physiques, ainsi que des capacités de stratégie d’action pour aider les robots à accomplir des tâches spécifiques. Dans plusieurs benchmarks phares de l’IA physique, notamment Artificial Analysis, Physics-IQ et RoboLab, Cosmos3 se classe parmi les meilleurs modèles open source.
Afin de s'adapter aux différentes étapes de développement, NVIDIA a publié plusieurs versions : Cosmos3Super, axé sur l'entraînement secondaire de modèles de robotique et de conduite autonome avec une précision extrême, et Cosmos3Nano, capable d'effectuer une analyse vidéo de haute qualité et un raisonnement d'action en quelques secondes. Les deux sont désormais officiellement disponibles. La version Cosmos3Edge, conçue pour l'inférence en temps réel sur des périphériques de bord, figure également dans la feuille de route des lancements.
Parallèlement au lancement de ce modèle de grande envergure, NVIDIA a cofondé la « NVIDIA Cosmos Coalition » avec des équipes de recherche de premier plan et des développeurs d’IA du monde entier, notamment Agile Robots, Black Forest Labs, Generalist, LTX, Runway et Skild AI. Jensen Huang, fondateur et PDG de NVIDIA, a déclaré qu'avec les avancées continues en matière de raisonnement multimodal et de modèles du monde, l'ère transformatrice de l'IA physique était arrivée. La sortie de ces modèles open source de pointe aidera les développeurs du monde entier à réaliser des avancées technologiques et à créer la prochaine génération de systèmes intelligents capables de percevoir, de raisonner et d'agir dans le monde réel.
PDG de DeepMind, Hassabis : Je dors six heures par jour et je me sens généralement plein d’énergie vers 1 h du matin.
Fortune a récemment publié une interview avec Demis Hassabis, PDG de Google DeepMind, révélant son approche non conventionnelle du repos et de la productivité. Hassabis a divulgué qu’il dort très peu, structurant ses heures d’éveil en deux blocs de t
OpenAI et Anthropic se disputent des parts de marché malgré des résultats en deçà des attentes
Bien que des informations récentes laissent entendre qu’OpenAI n’aurait pas atteint ses objectifs de chiffre d’affaires, ce qui a pesé sur les valeurs technologiques ce mardi, les investisseurs privés











