Heim
NVIDIA und die Tsinghua-Universität stellen „Gamma-World“ vor und sprengen damit die Grenzen der Multi-Agenten-Simulation
Video-Weltmodelle entwickeln sich weg von einer Einzelagent-Perspektive hin zur Zusammenarbeit mehrerer Agenten. Herkömmliche Modelle gehen in der Regel von einem einzigen Agenten aus, was ihre Fähigkeit einschränkt, komplexe Szenarien zu bewältigen, in denen mehrere Akteure in derselben virtuellen Welt agieren und sich gegenseitig beobachten. Um diesen architektonischen Engpass zu überwinden, hat NVIDIA in Zusammenarbeit mit der Tsinghua-Universität, der Universität Toronto und dem Vector Institute „Gamma-World“ (γ-World) vorgestellt, eine neue Lösung für Multi-Agenten-Weltmodelle.
Die größte Herausforderung bei der Modellierung von Multi-Agenten-Welten besteht darin, drei Arten von Konsistenz zu gewährleisten: zeitliche, perspektivenübergreifende und interaktive Konsistenz. Frühere Ansätze wie Solaris trieben die Zusammenarbeit zwischen zwei Agenten voran, wiesen jedoch zwei entscheidende Mängel auf: eine Identitätskodierung, die die Permutationssymmetrie stört, und einen vollständig vernetzten Aufmerksamkeitsmechanismus, der mit der Anzahl der Agenten zu einem quadratischen Anstieg des Rechenaufwands führt und eine effektive Skalierung auf mehr Teilnehmer verhindert.

Gamma-World behebt diese strukturellen Probleme durch eine vollständige Neukonzeption. Das Team führte die „Simplex Rotary Agent Encoding“ ein, bei der alle Akteure an den Eckpunkten eines geometrischen Simplex positioniert werden, wodurch eine natürliche Äquidistanz und Gleichstellung untereinander gewährleistet wird. Dieses Design enthält keine lernbaren Parameter und nutzt eine zufällige Koordinatenzuweisung, wodurch das Modell mit Daten von zwei Agenten trainiert werden kann und Szenarien mit vier Agenten ohne architektonische Änderungen direkt ausführen kann – ein bedeutender Fortschritt bei der Generalisierbarkeit.
Um den Engpass beim Rechendurchsatz zu beheben, setzt Gamma-World einen „Sparse Hub Attention Mechanism“ ein. Dieser Ansatz ersetzt die traditionelle paarweise Direktkommunikation durch eine Reihe lernbarer Hub-Token, die als komprimierte Relais für gemeinsame Weltzustände fungieren und so den Rechenaufwand auf lineare Komplexität reduzieren. In Kombination mit unabhängigem Caching erreicht das System eine Echtzeit-Aktionssimulation mit 24 Bildern pro Sekunde (24 FPS).
Für das Training verwendete das Team einen dreistufigen „Teacher-Student“-Destillationsansatz, bei dem ein bidirektionales „Teacher“-Modell ein kausales „Student“-Modell anleitet und dabei die mehrstufige Stichprobenentnahme auf nur vier Schritte komprimiert. Dadurch bleibt die Steuerbarkeit der Aktionen erhalten, während die Fehlerakkumulation während der autoregressiven Inferenz deutlich reduziert wird.
Experimentelle Ergebnisse zeigen, dass Gamma-World in fünf Kernszenarien einer virtuellen Minecraft-Umgebung mit mehreren Spielern – darunter „Memory“ und „Construction“ – bestehende Modelle auf dem neuesten Stand der Technik übertrifft und eine durchschnittliche Reduzierung der FVD-Metrik für die Videoqualität um über 40 % erzielt. Das Framework wurde zudem erfolgreich auf reale Kooperationsaufgaben mit zweiarmen Robotern angepasst, was seine szenarioübergreifende Anwendbarkeit bestätigt. Dieser Fortschritt verbessert nicht nur die Multi-Agenten-Simulation, sondern hat auch das Potenzial, als Infrastruktur zur Generierung groß angelegter Simulationen für physikalische KI-Bereiche zu dienen, wie beispielsweise die medizinische Zusammenarbeit mit mehreren Armen, die Planung mehrerer Roboter in Fabriken und das autonome Fahren.
Verwandter Artikel
Ein Blick hinter die Kulissen von Claudeforce: Die Zusammenführung von Salesforce-Daten mit Claude AI
Salesforce und Anthropic vertiefen ihre strategische Allianz mit der Einführung von Claudeforce – ein Schritt, der die Vernetzung in Unternehmen und die Nutzung der Plattform fördert. Bildnachweis: Ja
Das Problem der Gleichförmigkeit hinter diesen unappetitlichen, von KI generierten Speiseplänen
Zunächst könnten Sie Ihre eigene Vernunft in Frage stellen. Sie betreten ein Café und scannen eine Speisekarte, die voller Bagel-Sandwiches ist, doch jedes Bild wirkt unnatvoll perfekt – fehlerfrei symmetrisch und übermäßig glatt –, was ein instinkti
IBM-Bericht: KI-gesteuerte Sicherheitsverletzungen machen 25 % der Vorfälle aus, wobei die einzelnen Verluste 20 % über dem Durchschnitt liegen.
Neue Forschungsergebnisse von IBM und dem Ponemon Institute unterstreichen eine beunruhigende Entwicklung: KI-gestützte Angriffe machen nun 25 % aller schädlichen Datenschutzverletzungen aus, was einem Anstieg von 56 % im Jahresvergleich entspricht.
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)
Video-Weltmodelle entwickeln sich weg von einer Einzelagent-Perspektive hin zur Zusammenarbeit mehrerer Agenten. Herkömmliche Modelle gehen in der Regel von einem einzigen Agenten aus, was ihre Fähigkeit einschränkt, komplexe Szenarien zu bewältigen, in denen mehrere Akteure in derselben virtuellen Welt agieren und sich gegenseitig beobachten. Um diesen architektonischen Engpass zu überwinden, hat NVIDIA in Zusammenarbeit mit der Tsinghua-Universität, der Universität Toronto und dem Vector Institute „Gamma-World“ (γ-World) vorgestellt, eine neue Lösung für Multi-Agenten-Weltmodelle.
Die größte Herausforderung bei der Modellierung von Multi-Agenten-Welten besteht darin, drei Arten von Konsistenz zu gewährleisten: zeitliche, perspektivenübergreifende und interaktive Konsistenz. Frühere Ansätze wie Solaris trieben die Zusammenarbeit zwischen zwei Agenten voran, wiesen jedoch zwei entscheidende Mängel auf: eine Identitätskodierung, die die Permutationssymmetrie stört, und einen vollständig vernetzten Aufmerksamkeitsmechanismus, der mit der Anzahl der Agenten zu einem quadratischen Anstieg des Rechenaufwands führt und eine effektive Skalierung auf mehr Teilnehmer verhindert.

Gamma-World behebt diese strukturellen Probleme durch eine vollständige Neukonzeption. Das Team führte die „Simplex Rotary Agent Encoding“ ein, bei der alle Akteure an den Eckpunkten eines geometrischen Simplex positioniert werden, wodurch eine natürliche Äquidistanz und Gleichstellung untereinander gewährleistet wird. Dieses Design enthält keine lernbaren Parameter und nutzt eine zufällige Koordinatenzuweisung, wodurch das Modell mit Daten von zwei Agenten trainiert werden kann und Szenarien mit vier Agenten ohne architektonische Änderungen direkt ausführen kann – ein bedeutender Fortschritt bei der Generalisierbarkeit.
Um den Engpass beim Rechendurchsatz zu beheben, setzt Gamma-World einen „Sparse Hub Attention Mechanism“ ein. Dieser Ansatz ersetzt die traditionelle paarweise Direktkommunikation durch eine Reihe lernbarer Hub-Token, die als komprimierte Relais für gemeinsame Weltzustände fungieren und so den Rechenaufwand auf lineare Komplexität reduzieren. In Kombination mit unabhängigem Caching erreicht das System eine Echtzeit-Aktionssimulation mit 24 Bildern pro Sekunde (24 FPS).
Für das Training verwendete das Team einen dreistufigen „Teacher-Student“-Destillationsansatz, bei dem ein bidirektionales „Teacher“-Modell ein kausales „Student“-Modell anleitet und dabei die mehrstufige Stichprobenentnahme auf nur vier Schritte komprimiert. Dadurch bleibt die Steuerbarkeit der Aktionen erhalten, während die Fehlerakkumulation während der autoregressiven Inferenz deutlich reduziert wird.
Experimentelle Ergebnisse zeigen, dass Gamma-World in fünf Kernszenarien einer virtuellen Minecraft-Umgebung mit mehreren Spielern – darunter „Memory“ und „Construction“ – bestehende Modelle auf dem neuesten Stand der Technik übertrifft und eine durchschnittliche Reduzierung der FVD-Metrik für die Videoqualität um über 40 % erzielt. Das Framework wurde zudem erfolgreich auf reale Kooperationsaufgaben mit zweiarmen Robotern angepasst, was seine szenarioübergreifende Anwendbarkeit bestätigt. Dieser Fortschritt verbessert nicht nur die Multi-Agenten-Simulation, sondern hat auch das Potenzial, als Infrastruktur zur Generierung groß angelegter Simulationen für physikalische KI-Bereiche zu dienen, wie beispielsweise die medizinische Zusammenarbeit mit mehreren Armen, die Planung mehrerer Roboter in Fabriken und das autonome Fahren.
Ein Blick hinter die Kulissen von Claudeforce: Die Zusammenführung von Salesforce-Daten mit Claude AI
Salesforce und Anthropic vertiefen ihre strategische Allianz mit der Einführung von Claudeforce – ein Schritt, der die Vernetzung in Unternehmen und die Nutzung der Plattform fördert. Bildnachweis: Ja
Das Problem der Gleichförmigkeit hinter diesen unappetitlichen, von KI generierten Speiseplänen
Zunächst könnten Sie Ihre eigene Vernunft in Frage stellen. Sie betreten ein Café und scannen eine Speisekarte, die voller Bagel-Sandwiches ist, doch jedes Bild wirkt unnatvoll perfekt – fehlerfrei symmetrisch und übermäßig glatt –, was ein instinkti
IBM-Bericht: KI-gesteuerte Sicherheitsverletzungen machen 25 % der Vorfälle aus, wobei die einzelnen Verluste 20 % über dem Durchschnitt liegen.
Neue Forschungsergebnisse von IBM und dem Ponemon Institute unterstreichen eine beunruhigende Entwicklung: KI-gestützte Angriffe machen nun 25 % aller schädlichen Datenschutzverletzungen aus, was einem Anstieg von 56 % im Jahresvergleich entspricht.











