Heim
Meituan stellt das KI-Modell „LongCat-Next“ mit einer einheitlichen Architektur für Bildverarbeitung und Spracherkennung vor

Am 3. April stellte das MiTi-Team offiziell das native multimodale Großmodell LongCat-Next vor. Dieses Modell geht über den herkömmlichen Ansatz „Sprachgrundlage plus Plugins“ hinaus, indem es Bilder, Audio und Text in einen einheitlichen Strom diskreter Token umwandelt. Dadurch kann die KI die physische Welt nativ „sehen“ und „hören“ und diese Eingaben genauso verarbeiten wie Text.
Technischer Kern: DiNA-Architektur ermöglicht „Modalitätsinternalisierung“
Um Barrieren zwischen verschiedenen Datentypen zu beseitigen, entwickelte MiTi die DiNA-Architektur (Discrete Native Autoregressive) und erreichte damit eine tiefgreifende Vereinheitlichung in der multimodalen Modellierung:
Vollständige Modalitätsvereinheitlichung: Das Modell verwendet für Text, Bilder und Audio dieselben Parameter, Aufmerksamkeitsmechanismen und Verlustfunktionen.
Symmetrie von Verständnis und Generierung: Innerhalb eines einzigen mathematischen Rahmens stellt die Vorhersage des nächsten Text-Tokens das „Verstehen“ dar, während die Vorhersage eines Bild-Tokens die „Generierung“ ist. Beide Prozesse zeigen während des Trainings erhebliche synergetische Vorteile.
Extreme Komprimierung: Mithilfe des dNaViT Visual Tokenizer verarbeitet es Eingaben in beliebiger Auflösung. Durch einen 8-schichtigen Residual-Vektorquantisierungs-Prozess erreicht es eine bis zu 28-fache Komprimierung im Pixelraum, während wichtige Details für Aufgaben wie OCR und die Analyse von Finanzdokumenten erhalten bleiben.
Empirische Leistung: Diskrete Modellierung kennt keine inhärenten Grenzen
LongCat-Next liefert eine Leistung, die spezialisierte Modelle in mehreren Benchmarks übertrifft, und stellt damit die traditionelle Vorstellung, dass „Diskretisierung unweigerlich zu Informationsverlust führt“, effektiv in Frage:
Fein abgestimmte Wahrnehmung: Auf dem OmniDocBench für Szenarien mit dichtem Text übertrifft es nicht nur Qwen3-Omni, sondern auch das spezialisierte Bildverarbeitungsmodell Qwen3-VL.
Visuelles Schlussfolgern: Es erzielte beeindruckende 83,1 Punkte bei MathVista und demonstrierte damit robustes, industrietaugliches logisches Schlussfolgern.
Modalitätenübergreifende Zusammenarbeit: Unter Beibehaltung führender Sprachfähigkeiten (C-Eval 86,80) unterstützt es die parallele Generierung von Text und Sprache mit geringer Latenz sowie anpassbares Voice Cloning.
Brancheneinblick: Eine Grundlage für KI in der physischen Welt
Große Sprachmodelle haben sich lange Zeit auf Text konzentriert. Der Durchbruch von LongCat-Next besteht darin, dass es beweist, dass Informationen aus der physischen Welt wie Sprache diskretisiert und modelliert werden können. Wenn eine KI über eine einheitliche „Muttersprache“ verfügt, wird sie intelligenter und intuitiver beim Einsatz von Werkzeugen, beim Schreiben von Code oder beim Interpretieren komplexer Diagramme.
MiTi hat nun das LongCat-Next-Modell und den dNaViT-Tokenizer als Open Source veröffentlicht. Diese effiziente, vielversprechende native diskrete Architektur bietet Entwicklern wesentliche Werkzeuge für den Aufbau von KI, die die reale Welt wahrnehmen und mit ihr interagieren kann.
Verwandter Artikel
DeepMind-CEO Hassabis: Ich schlafe sechs Stunden pro Tag und fühle mich normalerweise gegen 1 Uhr nachts energiegeladen.
Fortune hat kürzlich ein Interview mit Demis Hassabis, dem CEO von Google DeepMind, veröffentlicht, das seinen unkonventionellen Ansatz zu Erholung und Produktivität offenbart. Hassabis gab bekannt, dass er sehr wenig schläft und seine wachen Stunden
OpenAI und Anthropic kämpfen trotz Umsatzrückgängen um Marktanteile
Obwohl jüngste Berichte darauf hindeuten, dass OpenAI seine Umsatzziele verfehlt hat, was an diesem Dienstag Druck auf die Technologieaktien ausübte, zeigen sich private Investoren in KI-Labore weiter
Einhaltung der Vorschriften für autonome Fahrzeuge in Kalifornien: Eine neue Ära von Bußgeldern, Geofences und 1 Million Meilen
Guident betreibt einen AuveTech-Shuttle in Südflorida und verwaltet mithilfe seiner Fernüberwachungstechnologie eine vier Meilen lange Strecke in West Palm Beach sowie eine eine Meile lange Strecke in
Empfehlungen zu verwandten Spezialthemen
Kommentare (1)
Interesting approach! Unifying vision and speech into a single stream sounds like a step towards more 'native' multimodal understanding, unlike just bolting on separate modules. Makes me wonder how this affects real-time processing efficiency for delivery robots or AR navigation apps. Could be a game-changer for Meituan's on-demand services if it works smoothly in the wild. 🧐

Am 3. April stellte das MiTi-Team offiziell das native multimodale Großmodell LongCat-Next vor. Dieses Modell geht über den herkömmlichen Ansatz „Sprachgrundlage plus Plugins“ hinaus, indem es Bilder, Audio und Text in einen einheitlichen Strom diskreter Token umwandelt. Dadurch kann die KI die physische Welt nativ „sehen“ und „hören“ und diese Eingaben genauso verarbeiten wie Text.
Technischer Kern: DiNA-Architektur ermöglicht „Modalitätsinternalisierung“
Um Barrieren zwischen verschiedenen Datentypen zu beseitigen, entwickelte MiTi die DiNA-Architektur (Discrete Native Autoregressive) und erreichte damit eine tiefgreifende Vereinheitlichung in der multimodalen Modellierung:
Vollständige Modalitätsvereinheitlichung: Das Modell verwendet für Text, Bilder und Audio dieselben Parameter, Aufmerksamkeitsmechanismen und Verlustfunktionen.
Symmetrie von Verständnis und Generierung: Innerhalb eines einzigen mathematischen Rahmens stellt die Vorhersage des nächsten Text-Tokens das „Verstehen“ dar, während die Vorhersage eines Bild-Tokens die „Generierung“ ist. Beide Prozesse zeigen während des Trainings erhebliche synergetische Vorteile.
Extreme Komprimierung: Mithilfe des dNaViT Visual Tokenizer verarbeitet es Eingaben in beliebiger Auflösung. Durch einen 8-schichtigen Residual-Vektorquantisierungs-Prozess erreicht es eine bis zu 28-fache Komprimierung im Pixelraum, während wichtige Details für Aufgaben wie OCR und die Analyse von Finanzdokumenten erhalten bleiben.
Empirische Leistung: Diskrete Modellierung kennt keine inhärenten Grenzen
LongCat-Next liefert eine Leistung, die spezialisierte Modelle in mehreren Benchmarks übertrifft, und stellt damit die traditionelle Vorstellung, dass „Diskretisierung unweigerlich zu Informationsverlust führt“, effektiv in Frage:
Fein abgestimmte Wahrnehmung: Auf dem OmniDocBench für Szenarien mit dichtem Text übertrifft es nicht nur Qwen3-Omni, sondern auch das spezialisierte Bildverarbeitungsmodell Qwen3-VL.
Visuelles Schlussfolgern: Es erzielte beeindruckende 83,1 Punkte bei MathVista und demonstrierte damit robustes, industrietaugliches logisches Schlussfolgern.
Modalitätenübergreifende Zusammenarbeit: Unter Beibehaltung führender Sprachfähigkeiten (C-Eval 86,80) unterstützt es die parallele Generierung von Text und Sprache mit geringer Latenz sowie anpassbares Voice Cloning.
Brancheneinblick: Eine Grundlage für KI in der physischen Welt
Große Sprachmodelle haben sich lange Zeit auf Text konzentriert. Der Durchbruch von LongCat-Next besteht darin, dass es beweist, dass Informationen aus der physischen Welt wie Sprache diskretisiert und modelliert werden können. Wenn eine KI über eine einheitliche „Muttersprache“ verfügt, wird sie intelligenter und intuitiver beim Einsatz von Werkzeugen, beim Schreiben von Code oder beim Interpretieren komplexer Diagramme.
MiTi hat nun das LongCat-Next-Modell und den dNaViT-Tokenizer als Open Source veröffentlicht. Diese effiziente, vielversprechende native diskrete Architektur bietet Entwicklern wesentliche Werkzeuge für den Aufbau von KI, die die reale Welt wahrnehmen und mit ihr interagieren kann.
DeepMind-CEO Hassabis: Ich schlafe sechs Stunden pro Tag und fühle mich normalerweise gegen 1 Uhr nachts energiegeladen.
Fortune hat kürzlich ein Interview mit Demis Hassabis, dem CEO von Google DeepMind, veröffentlicht, das seinen unkonventionellen Ansatz zu Erholung und Produktivität offenbart. Hassabis gab bekannt, dass er sehr wenig schläft und seine wachen Stunden
OpenAI und Anthropic kämpfen trotz Umsatzrückgängen um Marktanteile
Obwohl jüngste Berichte darauf hindeuten, dass OpenAI seine Umsatzziele verfehlt hat, was an diesem Dienstag Druck auf die Technologieaktien ausübte, zeigen sich private Investoren in KI-Labore weiter
Interesting approach! Unifying vision and speech into a single stream sounds like a step towards more 'native' multimodal understanding, unlike just bolting on separate modules. Makes me wonder how this affects real-time processing efficiency for delivery robots or AR navigation apps. Could be a game-changer for Meituan's on-demand services if it works smoothly in the wild. 🧐











