Maison
NVIDIA et l'université de Tsinghua présentent « Gamma-World », repoussant les limites de la simulation multi-agents
Les modèles de mondes vidéo évoluent, passant d’une perspective mono-agent à une collaboration multi-agents. Les modèles traditionnels partent généralement du principe qu’il n’y a qu’un seul agent, ce qui limite leur capacité à gérer des scénarios complexes dans lesquels plusieurs acteurs agissent et s’observent mutuellement au sein d’un même monde virtuel. Pour surmonter ce goulot d’étranglement architectural, NVIDIA, en collaboration avec l’université de Tsinghua, l’université de Toronto et le Vector Institute, a lancé Gamma-World (γ-World), une nouvelle solution de modélisation de mondes multi-agents.
Le principal défi de la modélisation de mondes multi-agents consiste à préserver trois types de cohérence : temporelle, inter-perspectives et interactive. Des travaux antérieurs, tels que Solaris, ont fait progresser la collaboration entre deux agents, mais ont révélé deux défauts critiques : un encodage d’identité qui perturbe la symétrie de permutation, et un mécanisme d’attention entièrement connecté qui entraîne une croissance quadratique de la charge de calcul avec le nombre d’agents, empêchant ainsi une mise à l’échelle efficace vers un plus grand nombre de participants.

Gamma-World résout ces problèmes structurels grâce à une refonte complète. L’équipe a introduit le « Simplex Rotary Agent Encoding », qui positionne tous les acteurs aux sommets d’un simplexe géométrique, garantissant ainsi une équidistance naturelle et un statut égal entre eux. Cette conception ne comporte aucun paramètre apprenable et utilise une attribution aléatoire des coordonnées, ce qui permet au modèle de s’entraîner sur des données à deux agents et d’exécuter directement des scénarios à quatre agents sans aucune modification architecturale — un bond en avant significatif en matière de généralisation.
Pour remédier au goulot d’étranglement au niveau du débit de calcul, Gamma-World utilise un mécanisme d’attention par hub clairsemé (Sparse Hub Attention Mechanism). Cette approche remplace la communication directe par paires traditionnelle par un ensemble de jetons de hub apprenables qui agissent comme des relais compressés pour les états partagés du monde, réduisant ainsi le coût de calcul à une complexité linéaire. Combiné à une mise en cache indépendante, le système permet une simulation d’actions en temps réel à 24 images par seconde (24 FPS).
Pour l’entraînement, l’équipe a utilisé une approche de distillation « teacher-student » en trois étapes, dans laquelle un modèle « teacher » bidirectionnel guide un modèle « student » causal, compressant ainsi l’échantillonnage en plusieurs étapes à seulement quatre étapes. Cela permet de préserver la contrôlabilité des actions tout en réduisant considérablement l’accumulation d’erreurs lors de l’inférence autorégressive.
Les résultats expérimentaux démontrent que, dans cinq scénarios clés d’un environnement virtuel Minecraft multijoueur — notamment la mémoire et la construction —, Gamma-World surpasse les modèles de pointe existants, en atteignant une réduction moyenne de plus de 40 % de la métrique FVD relative à la qualité vidéo. Ce cadre a également été adapté avec succès à de véritables tâches de collaboration entre robots à deux bras, confirmant ainsi son applicabilité à différents scénarios. Cette avancée améliore non seulement la simulation multi-agents, mais pourrait également servir d’infrastructure de génération de simulations à grande échelle pour des domaines d’IA physique tels que la collaboration médicale multi-bras, la planification multi-robots en usine et la conduite autonome.
Article connexe
Au cœur de Claudeforce : l'intégration des données Salesforce avec l'IA Claude
Salesforce et Anthropic renforcent leur alliance stratégique avec le lancement de Claudeforce, une initiative qui améliore la connectivité des entreprises et l'engagement sur la plateforme. Crédit : J
Le problème de la monotonie derrière ces menus générés par l'IA, peu appétissants
Au début, vous pourriez remettre en question votre santé mentale. Vous entrez dans un café et parcourez un menu rempli de sandwichs au bagel, pourtant chaque image apparaît d’une manière troublante, parfaitement symétrique et excessivement lisse, déc
Rapport d’IBM : les cyberattaques alimentées par l’intelligence artificielle représentent 25 % des incidents, avec des pertes individuelles supérieures de 20 % à la moyenne
Une nouvelle étude d’IBM et du Ponemon Institute met en lumière un changement inquiétant : les attaques alimentées par l’intelligence artificielle (IA) représentent désormais 25 % de toutes les violations de données malveillantes, marquant une augmen
Recommandations de sujets spéciaux liés
commentaires (0)
Les modèles de mondes vidéo évoluent, passant d’une perspective mono-agent à une collaboration multi-agents. Les modèles traditionnels partent généralement du principe qu’il n’y a qu’un seul agent, ce qui limite leur capacité à gérer des scénarios complexes dans lesquels plusieurs acteurs agissent et s’observent mutuellement au sein d’un même monde virtuel. Pour surmonter ce goulot d’étranglement architectural, NVIDIA, en collaboration avec l’université de Tsinghua, l’université de Toronto et le Vector Institute, a lancé Gamma-World (γ-World), une nouvelle solution de modélisation de mondes multi-agents.
Le principal défi de la modélisation de mondes multi-agents consiste à préserver trois types de cohérence : temporelle, inter-perspectives et interactive. Des travaux antérieurs, tels que Solaris, ont fait progresser la collaboration entre deux agents, mais ont révélé deux défauts critiques : un encodage d’identité qui perturbe la symétrie de permutation, et un mécanisme d’attention entièrement connecté qui entraîne une croissance quadratique de la charge de calcul avec le nombre d’agents, empêchant ainsi une mise à l’échelle efficace vers un plus grand nombre de participants.

Gamma-World résout ces problèmes structurels grâce à une refonte complète. L’équipe a introduit le « Simplex Rotary Agent Encoding », qui positionne tous les acteurs aux sommets d’un simplexe géométrique, garantissant ainsi une équidistance naturelle et un statut égal entre eux. Cette conception ne comporte aucun paramètre apprenable et utilise une attribution aléatoire des coordonnées, ce qui permet au modèle de s’entraîner sur des données à deux agents et d’exécuter directement des scénarios à quatre agents sans aucune modification architecturale — un bond en avant significatif en matière de généralisation.
Pour remédier au goulot d’étranglement au niveau du débit de calcul, Gamma-World utilise un mécanisme d’attention par hub clairsemé (Sparse Hub Attention Mechanism). Cette approche remplace la communication directe par paires traditionnelle par un ensemble de jetons de hub apprenables qui agissent comme des relais compressés pour les états partagés du monde, réduisant ainsi le coût de calcul à une complexité linéaire. Combiné à une mise en cache indépendante, le système permet une simulation d’actions en temps réel à 24 images par seconde (24 FPS).
Pour l’entraînement, l’équipe a utilisé une approche de distillation « teacher-student » en trois étapes, dans laquelle un modèle « teacher » bidirectionnel guide un modèle « student » causal, compressant ainsi l’échantillonnage en plusieurs étapes à seulement quatre étapes. Cela permet de préserver la contrôlabilité des actions tout en réduisant considérablement l’accumulation d’erreurs lors de l’inférence autorégressive.
Les résultats expérimentaux démontrent que, dans cinq scénarios clés d’un environnement virtuel Minecraft multijoueur — notamment la mémoire et la construction —, Gamma-World surpasse les modèles de pointe existants, en atteignant une réduction moyenne de plus de 40 % de la métrique FVD relative à la qualité vidéo. Ce cadre a également été adapté avec succès à de véritables tâches de collaboration entre robots à deux bras, confirmant ainsi son applicabilité à différents scénarios. Cette avancée améliore non seulement la simulation multi-agents, mais pourrait également servir d’infrastructure de génération de simulations à grande échelle pour des domaines d’IA physique tels que la collaboration médicale multi-bras, la planification multi-robots en usine et la conduite autonome.
Au cœur de Claudeforce : l'intégration des données Salesforce avec l'IA Claude
Salesforce et Anthropic renforcent leur alliance stratégique avec le lancement de Claudeforce, une initiative qui améliore la connectivité des entreprises et l'engagement sur la plateforme. Crédit : J
Le problème de la monotonie derrière ces menus générés par l'IA, peu appétissants
Au début, vous pourriez remettre en question votre santé mentale. Vous entrez dans un café et parcourez un menu rempli de sandwichs au bagel, pourtant chaque image apparaît d’une manière troublante, parfaitement symétrique et excessivement lisse, déc
Rapport d’IBM : les cyberattaques alimentées par l’intelligence artificielle représentent 25 % des incidents, avec des pertes individuelles supérieures de 20 % à la moyenne
Une nouvelle étude d’IBM et du Ponemon Institute met en lumière un changement inquiétant : les attaques alimentées par l’intelligence artificielle (IA) représentent désormais 25 % de toutes les violations de données malveillantes, marquant une augmen











