AntGroup veröffentlicht „LingBot-Video“ als Open-Source-Projekt – das erste Video-Grundmodell für verkörperte Intelligenz

Am 9. Juli hat die Ant Group „LingBot-Video“ als Open-Source-Projekt veröffentlicht – das weltweit erste Open-Source-Grundmodell zur Videogenerierung, das auf der Mixture-of-Experts-Architektur (MoE) basiert und speziell für verkörperte Intelligenz entwickelt wurde. Das Modell definiert das Vortraining von Videos neu, indem es sich auf die Kernanforderungen von Robotern und verkörperter Intelligenz konzentriert und systematische Verbesserungen bei der Effizienz des logischen Denkens, der physikalischen Plausibilität, dem Verständnis von Handlungen und der Aufgabenbewältigung erzielt. Es bietet eine neue Open-Source-Grundlage für Video-Grundmodelle, um über die Erstellung digitaler Inhalte hinaus in den Bereich der verkörperten Intelligenz vorzudringen.

Im RBench-Benchmark, der gemeinsam von der Peking-Universität und ByteDance entwickelt wurde, erzielte LingBot-Video einen Wert von 0,620 und übertraf damit Wan2.6 (0,607), Seedance1.5Pro (0,584) und Cosmos3Super (0,581). RBench, ein umfassender Bewertungs-Benchmark für Videos zur Robotermanipulation, prüft insbesondere, ob ein Modell Roboterverhalten generieren kann, das den Gesetzen der realen Physik folgt. Dieses Ergebnis zeigt, dass LingBot-Video bei der Generierung von roboterbezogenen Videos die Handlungsrationalität und die Integrität der Aufgabenausführung besser bewahrt.

(Bildunterschrift: LingBot-Video erzielt die beste Leistung bei RBench)

Um die Fähigkeit von LingBot-Video zur Modellierung von Veränderungen in der physikalischen Welt weiter zu überprüfen, bewertete die Ant Group das Modell anhand eines internen Benchmarks in zwei Dimensionen: allgemeine Qualität und verkörperter Anwendungsbereich. Die Ergebnisse zeigen, dass LingBot-Video im Vergleich zu fünf Open-Source-Modellen – NVIDIA Cosmos3, Wan2.2A14B, LongCat-Video, Hunyuan Video1.5 und LTX-2.3 – die wichtigsten Basismodelle im Bereich der verkörperten Domäne übertrifft.

(Bildunterschrift: Eine umfassende Bewertung zeigt, dass LingBot-Video in verkörperten Szenarien ein besseres Verständnis der physikalischen Welt und eine höhere Konsistenz der Handlungen aufweist)

In den letzten Jahren haben sich Modelle zur Videogenerierung hinsichtlich visueller Qualität, Laufruhe und kreativem Ausdruck rasant weiterentwickelt. Für die verkörperte Intelligenz spiegelt ein Video, das realistisch aussieht und sich flüssig bewegt, jedoch möglicherweise nicht die tatsächlichen physikalischen Gesetze wider, was die Unterstützung kontinuierlicher Vorhersagen, Planungen und Aufgabenausführung für Roboter erschwert. Gleichzeitig erfordert verkörperte Intelligenz auch eine höhere Effizienz beim logischen Schlussfolgern, um sich an Echtzeit-Interaktionen und Regelkreise anzupassen.

Dies hat dazu geführt, dass sich die Videogenerierung entlang zweier unterschiedlicher Wege weiterentwickelt hat: zum einen in Richtung Filmindustrie, um die Erstellung von Inhalten zu unterstützen; zum anderen in Richtung Robotik, um das Verständnis, die Vorhersage und die Interaktion mit der physikalischen Welt zu fördern. LingBot-Video steht für die bedeutende Erforschung eines neuen Weges zur Videogenerierung durch die Ant Group, der speziell auf verkörperte Intelligenz zugeschnitten ist.

LingBot-Video führt systematische Innovationen in den Bereichen Architektur, Daten und Training ein.

Architektonisch setzt LingBot-Video auf ein DiT + MoE-Design, bei dem traditionelle dichte Architekturen durch MoE ersetzt werden. Dadurch kann das Modell seine Kapazität skalieren und gleichzeitig die Inferenzkosten überschaubar halten. Bei 30 Milliarden Parametern aktiviert das Modell während der Generierung nur etwa 3 Milliarden und bietet damit eine etwa dreimal so hohe Schlussfolgerungseffizienz wie eine dichte Architektur gleicher Größe. Dieses Design verleiht dem Modell visuelle Ausdruckskraft durch die große Anzahl an Parametern und erfüllt gleichzeitig besser die Effizienzanforderungen der verkörperten Intelligenz.

Für die Daten hat LingBot-Video eine Datenprofilierungs-Engine entwickelt, die roboterbezogene Daten wie VLA, VLN und Ego zusätzlich zu umfangreichen Internetvideos einbezieht und Szenarien wie geschickte Manipulation, Robotermobilität und Interaktionen aus der Ich-Perspektive abdeckt – insgesamt 70.000 Stunden verkörperter Daten. Diese Daten helfen dem Modell dabei, die Zusammenhänge zwischen Handlungen und Veränderungen in der Umgebung zu erlernen, anstatt sich nur auf die Oberflächenstruktur und den visuellen Stil der Videos zu beschränken.

Beim Training führte LingBot-Video ein mehrdimensionales Belohnungssystem für das verstärkende Lernen ein. Über herkömmliche Metriken wie Ästhetik, Befehlsbefolgung und Bewegungskonsistenz hinaus orientiert sich das Modell auch an physikalischer Plausibilität und der Erledigung von Aufgaben, wodurch die generierten Ergebnisse besser mit der Physik der realen Welt übereinstimmen und den Anforderungen von Robotern entsprechen, die Aufgaben in der realen Welt ausführen.