Heim
Das Open-Source-Audiomodell von Meituan setzt neue Maßstäbe im Bereich der Stimmklonung
Die Audioerzeugung erlebt derzeit einen grundlegenden Wandel von mehrstufigen Kaskadenarchitekturen hin zu End-to-End-Modellen. Um den Informationsverlust und die Fehlerakkumulation zu überwinden, die der traditionellen Zwischenrepräsentation „Mel-Spektrogramm“ in TTS-Systemen innewohnen, hat das Meituan LongCat-Team LongCat-AudioDiT offiziell veröffentlicht und als Open-Source-Projekt zur Verfügung gestellt (erhältlich in Versionen mit 1 Mrd. und 3,5 Mrd. Parametern). Dieses Modell übertrifft erfolgreich bisherige Leistungsgrenzen beim Zero-Shot-Stimmklonen durch direkte Modellierung des latenten Raums der Wellenform.
Kernarchitektur: Über Mel-Spektrogramme hinaus
LongCat-AudioDiT verzichtet auf die herkömmliche mehrstufige Pipeline aus „akustischer Merkmalsvorhersage + neuronalem Vocoder“ und etabliert stattdessen eine optimierte Minimalarchitektur, die auf einem Wav-VAE (Waveform Variational Autoencoder) und einem DiT (Diffusion Transformer) basiert.
Effizientes Wav-VAE: Unter Verwendung eines vollständig konvolutionellen Designs komprimiert es 24-kHz-Wellenformen um den Faktor 2000 auf eine Bildrate von 11,7 Hz. Durch nicht-parametrische Shortcut-Verzweigungen und multiobjektives adversariales Training stellt es sicher, dass die rekonstruierte Wellenform eine präzise Zeit-Frequenz-Struktur beibehält und gleichzeitig eine hervorragende, natürliche Hörqualität liefert.
Semantisch erweitertes DiT: Das Modell verbindet auf innovative Weise die ursprünglichen Wort-Embeddings aus dem UMT5-Text-Encoder mit seinen obersten versteckten Zuständen. Dies gleicht phonetische Details aus, die in hochrangigen semantischen Darstellungen verloren gehen, und verbessert die Verständlichkeit der generierten Sprache erheblich.
Inferenzoptimierung: Präzise Korrektur von Stimmabweichungen
Um die Generierungsqualität weiter zu verbessern, implementierte das Team zwei entscheidende technische Verfeinerungen:
Dualer Beschränkungsmechanismus: Diese Technik identifiziert und behebt das anhaltende Problem der „Diskrepanz zwischen Training und Inferenz“ bei der flussangepassten TTS. Durch das erzwungene Zurücksetzen der latenten Variablen im Prompt-Bereich während der Inferenz werden Probleme wie Stimmdrift und Instabilität des Sprechers vollständig gelöst.
Adaptive Projection Guidance (APG): APG ersetzt die traditionelle classifier-free guidance (CFG). Es kann nützliche Komponenten innerhalb des Führungssignals präzise herausfiltern und gleichzeitig Komponenten unterdrücken, die zu einer Verschlechterung der Audioqualität führen, wodurch die Natürlichkeit der Sprache erheblich verbessert wird, ohne eine spektrale „Übersättigung“ zu verursachen.
Leistung: Klon-Genauigkeit auf SOTA-Niveau
In Benchmark-Tests auf dem Seed-Datensatz zeigt LongCat-AudioDiT eine überragende Leistung:
Ähnlichkeit (SIM): Das 3,5-Milliarden-Modell erzielte einen Wert von 0,818 im Seed-ZH-Testsatz und 0,797 im anspruchsvollen Seed-Hard-Satz, womit es namhafte Modelle wie Seed-TTS, CosyVoice3.5 und MiniMax-Speech übertraf.
Genauigkeit: Es zählt zu den branchenweit leistungsstärksten Modellen in allen wichtigen Metriken, darunter ein englischer WER von 1,50 % und ein chinesischer CER für schwierige Sätze von 6,04 %.
Bemerkenswert ist, dass LongCat-AudioDiT im Vergleich zu mehrstufig trainierten Modellen überlegene Ergebnisse erzielt, obwohl es nur ein einstufiges Training auf vorverarbeiteten ASR-Transkriptionsdaten verwendet. Die dazugehörige Forschungsarbeit, der Quellcode und die Modellgewichte sind nun vollständig als Open Source auf GitHub und HuggingFace verfügbar.
Projekt-Links:
GitHub: https://github.com/meituan-longcat/LongCat-AudioDiT
HuggingFace: https://huggingface.co/meituan-longcat/LongCat-AudioDiT
Verwandter Artikel
DeepMind-CEO Hassabis: Ich schlafe sechs Stunden pro Tag und fühle mich normalerweise gegen 1 Uhr nachts energiegeladen.
Fortune hat kürzlich ein Interview mit Demis Hassabis, dem CEO von Google DeepMind, veröffentlicht, das seinen unkonventionellen Ansatz zu Erholung und Produktivität offenbart. Hassabis gab bekannt, dass er sehr wenig schläft und seine wachen Stunden
OpenAI und Anthropic kämpfen trotz Umsatzrückgängen um Marktanteile
Obwohl jüngste Berichte darauf hindeuten, dass OpenAI seine Umsatzziele verfehlt hat, was an diesem Dienstag Druck auf die Technologieaktien ausübte, zeigen sich private Investoren in KI-Labore weiter
Einhaltung der Vorschriften für autonome Fahrzeuge in Kalifornien: Eine neue Ära von Bußgeldern, Geofences und 1 Million Meilen
Guident betreibt einen AuveTech-Shuttle in Südflorida und verwaltet mithilfe seiner Fernüberwachungstechnologie eine vier Meilen lange Strecke in West Palm Beach sowie eine eine Meile lange Strecke in
Empfehlungen zu verwandten Spezialthemen
Videoerstellung
KI-Generatoren für ansprechende Kurzvideos für Reels, Shorts und Produkteinführungskampagnen
Die besten KI-Generatoren für kurze Video-Hooks des Jahres 2026 für Reels, Shorts und Produkteinführungskampagnen! XIX.AI stellt erstklassige, leistungsstarke und bahnbrechende Tools zusammen, die in Praxistests überzeugende Ergebnisse liefern, die Sie unbedingt ausprobieren sollten. Diese wöchentlich aktualisierte Seite bietet Vergleichsrankings zwischen kostenlosen und kostenpflichtigen Angeboten, damit Sie die perfekte Lösung finden, um Ihre Kreativität und Produktivität bei der Erstellung von Inhalten zu steigern. Entdecken Sie jetzt die Seite und sichern Sie sich Ihren KI-Vorteil!
11 Tools
xix.ai
Schreiben
KI-Tools zur Gliederung von Artikeln für das Verfassen langer Texte
2026: Die neuesten, besten und am besten bewerteten KI-Tools zur Erstellung von Gliederungen für lange Texte! Diese sorgfältig zusammengestellte Sammlung umfasst leistungsstarke, bahnbrechende Tools, die präzise, strukturierte Gliederungen liefern – getestet unter realen Bedingungen –, um die Effizienz beim Schreiben deutlich zu steigern. XIX.AI gehört zu dieser Eliteauswahl. Holen Sie sich einen Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten, der Ihnen bei der Auswahl des perfekten Tools hilft. Entdecken Sie die Tools jetzt und sichern Sie sich Ihren KI-Vorteil!
9 Tools
xix.ai
Chatbot
Die besten KI-Rollenspiel-Chat-Apps für Sprachpraxis, Vorstellungsgesprächsvorbereitung und tägliche Sprechflüssigkeit
2026 Neueste Besten Top-bewerteten KI-Rollenspiel-Chat-Apps für Sprachpraxis, Vorstellungsgesprächsvorbereitung und tägliche Sprachflüssigkeit! XIX.AI kuratiert eine leistungsstarke, spielfeldverändernde Sammlung, die kostenlose gegen kostenpflichtige Vergleiche, reale Tests und wöchentlich aktualisierte Rankings bietet. Diese unbedingt auszuprobierenden Tools helfen Ihnen, Ihre Schreibfähigkeiten zu verbessern, Hürden der Sprachflüssigkeit zu überwinden und die Kommunikationseffizienz in allen alltäglichen Szenarien zu steigern. Entdecken Sie jetzt Ihr perfektes Werkzeug für Ihre Sprachentwicklung!
10 Tools
xix.ai
Musikkomposition
KI-Tools zur Stim-Trennung für die Remix-Produktion, die Vorbereitung von Samples und Karaoke-Master
Die besten und am besten bewerteten KI-Tools zur Stem-Trennung des Jahres 2026 – speziell ausgewählt für Remix-Produktionen, die Vorbereitung von Samples und Karaoke-Masters. Diese leistungsstarken, bahnbrechenden Tools haben sich in der Praxis bewährt und bieten präzise Audioisolierung, wodurch die Produktivität erheblich gesteigert wird. XIX.AI stellt einen wöchentlich aktualisierten Vergleichsleitfaden zwischen kostenlosen und kostenpflichtigen Lösungen bereit, der Ihnen hilft, die für Ihre Anforderungen passende Lösung zu finden, die Sie unbedingt ausprobieren sollten. Entdecken Sie ihn jetzt und sichern Sie sich Ihren KI-Vorteil.
8 Tools
xix.ai
Datenanalyse
KI-basierte SQL-Copiloten für Umsatz-Dashboards, Kanalanalysen sowie Produktmetriken
2026: Die neuesten und besten AI-SQL-Copiloten – alle in der Rangliste ganz oben! XIX.AI sammelt eine leistungsstarke Auswahl an Tools, die wöchentlich mit aktualisierten Tests aus der Praxis erweitert wird. Mit diesen unverzichtbaren Werkzeugen können Sie präzise Umsatzübersichten erstellen, Verkaufsprozesse analysieren sowie Produktmetriken schnell überwachen und so Ihre Produktivität erheblich steigern. Entdecken Sie jetzt das perfekte Tool für datenbasierte Entscheidungsfindung! 238 Zeichen
9 Tools
xix.ai
Musikkomposition
Die besten KI-Tools zum Komponieren von Melodien für Songentwürfe
2026 Neueste Besten Top-Bewerteten KI-Melodie-Schreibtools für Songentwürfe! XIX.AI hat eine hochleistungsfähige, bahnbrechende Kollektion zusammengestellt, die strengen Praxistests unterzogen wurde, um das beste Schreiberlebnis zu liefern. Sie finden detaillierte kostenlose versus kostenpflichtige Vergleiche, präzise Ranglisten und unbedingt auszuprobierende Optionen, die darauf ausgelegt sind, Ihnen zu helfen, beeindruckende Songentwürfe mühelos zu erstellen und Ihre kreative Produktivität erheblich zu steigern. Entdecken Sie jetzt Ihr perfektes Tool!
8 Tools
xix.ai
Kommentare (1)
![FredGreen]()
Honestly, the switch from multi-stage cascades to end-to-end models in audio generation sounds like a huge leap forward. But I'm wondering—how do they ensure the cloned voice doesn't pick up weird artifacts or biases from the training data? Also, open-sourcing it is cool, but I hope they've thought about potential misuse, like deepfake audio scams. 😅
Die Audioerzeugung erlebt derzeit einen grundlegenden Wandel von mehrstufigen Kaskadenarchitekturen hin zu End-to-End-Modellen. Um den Informationsverlust und die Fehlerakkumulation zu überwinden, die der traditionellen Zwischenrepräsentation „Mel-Spektrogramm“ in TTS-Systemen innewohnen, hat das Meituan LongCat-Team LongCat-AudioDiT offiziell veröffentlicht und als Open-Source-Projekt zur Verfügung gestellt (erhältlich in Versionen mit 1 Mrd. und 3,5 Mrd. Parametern). Dieses Modell übertrifft erfolgreich bisherige Leistungsgrenzen beim Zero-Shot-Stimmklonen durch direkte Modellierung des latenten Raums der Wellenform.
Kernarchitektur: Über Mel-Spektrogramme hinaus
LongCat-AudioDiT verzichtet auf die herkömmliche mehrstufige Pipeline aus „akustischer Merkmalsvorhersage + neuronalem Vocoder“ und etabliert stattdessen eine optimierte Minimalarchitektur, die auf einem Wav-VAE (Waveform Variational Autoencoder) und einem DiT (Diffusion Transformer) basiert.
Effizientes Wav-VAE: Unter Verwendung eines vollständig konvolutionellen Designs komprimiert es 24-kHz-Wellenformen um den Faktor 2000 auf eine Bildrate von 11,7 Hz. Durch nicht-parametrische Shortcut-Verzweigungen und multiobjektives adversariales Training stellt es sicher, dass die rekonstruierte Wellenform eine präzise Zeit-Frequenz-Struktur beibehält und gleichzeitig eine hervorragende, natürliche Hörqualität liefert.
Semantisch erweitertes DiT: Das Modell verbindet auf innovative Weise die ursprünglichen Wort-Embeddings aus dem UMT5-Text-Encoder mit seinen obersten versteckten Zuständen. Dies gleicht phonetische Details aus, die in hochrangigen semantischen Darstellungen verloren gehen, und verbessert die Verständlichkeit der generierten Sprache erheblich.
Inferenzoptimierung: Präzise Korrektur von Stimmabweichungen
Um die Generierungsqualität weiter zu verbessern, implementierte das Team zwei entscheidende technische Verfeinerungen:
Dualer Beschränkungsmechanismus: Diese Technik identifiziert und behebt das anhaltende Problem der „Diskrepanz zwischen Training und Inferenz“ bei der flussangepassten TTS. Durch das erzwungene Zurücksetzen der latenten Variablen im Prompt-Bereich während der Inferenz werden Probleme wie Stimmdrift und Instabilität des Sprechers vollständig gelöst.
Adaptive Projection Guidance (APG): APG ersetzt die traditionelle classifier-free guidance (CFG). Es kann nützliche Komponenten innerhalb des Führungssignals präzise herausfiltern und gleichzeitig Komponenten unterdrücken, die zu einer Verschlechterung der Audioqualität führen, wodurch die Natürlichkeit der Sprache erheblich verbessert wird, ohne eine spektrale „Übersättigung“ zu verursachen.
Leistung: Klon-Genauigkeit auf SOTA-Niveau
In Benchmark-Tests auf dem Seed-Datensatz zeigt LongCat-AudioDiT eine überragende Leistung:
Ähnlichkeit (SIM): Das 3,5-Milliarden-Modell erzielte einen Wert von 0,818 im Seed-ZH-Testsatz und 0,797 im anspruchsvollen Seed-Hard-Satz, womit es namhafte Modelle wie Seed-TTS, CosyVoice3.5 und MiniMax-Speech übertraf.
Genauigkeit: Es zählt zu den branchenweit leistungsstärksten Modellen in allen wichtigen Metriken, darunter ein englischer WER von 1,50 % und ein chinesischer CER für schwierige Sätze von 6,04 %.
Bemerkenswert ist, dass LongCat-AudioDiT im Vergleich zu mehrstufig trainierten Modellen überlegene Ergebnisse erzielt, obwohl es nur ein einstufiges Training auf vorverarbeiteten ASR-Transkriptionsdaten verwendet. Die dazugehörige Forschungsarbeit, der Quellcode und die Modellgewichte sind nun vollständig als Open Source auf GitHub und HuggingFace verfügbar.
Projekt-Links:
GitHub: https://github.com/meituan-longcat/LongCat-AudioDiT
HuggingFace: https://huggingface.co/meituan-longcat/LongCat-AudioDiT
DeepMind-CEO Hassabis: Ich schlafe sechs Stunden pro Tag und fühle mich normalerweise gegen 1 Uhr nachts energiegeladen.
Fortune hat kürzlich ein Interview mit Demis Hassabis, dem CEO von Google DeepMind, veröffentlicht, das seinen unkonventionellen Ansatz zu Erholung und Produktivität offenbart. Hassabis gab bekannt, dass er sehr wenig schläft und seine wachen Stunden
OpenAI und Anthropic kämpfen trotz Umsatzrückgängen um Marktanteile
Obwohl jüngste Berichte darauf hindeuten, dass OpenAI seine Umsatzziele verfehlt hat, was an diesem Dienstag Druck auf die Technologieaktien ausübte, zeigen sich private Investoren in KI-Labore weiter
Einhaltung der Vorschriften für autonome Fahrzeuge in Kalifornien: Eine neue Ära von Bußgeldern, Geofences und 1 Million Meilen
Guident betreibt einen AuveTech-Shuttle in Südflorida und verwaltet mithilfe seiner Fernüberwachungstechnologie eine vier Meilen lange Strecke in West Palm Beach sowie eine eine Meile lange Strecke in
Die besten KI-Generatoren für kurze Video-Hooks des Jahres 2026 für Reels, Shorts und Produkteinführungskampagnen! XIX.AI stellt erstklassige, leistungsstarke und bahnbrechende Tools zusammen, die in Praxistests überzeugende Ergebnisse liefern, die Sie unbedingt ausprobieren sollten. Diese wöchentlich aktualisierte Seite bietet Vergleichsrankings zwischen kostenlosen und kostenpflichtigen Angeboten, damit Sie die perfekte Lösung finden, um Ihre Kreativität und Produktivität bei der Erstellung von Inhalten zu steigern. Entdecken Sie jetzt die Seite und sichern Sie sich Ihren KI-Vorteil!
11 Tools
xix.ai
2026: Die neuesten, besten und am besten bewerteten KI-Tools zur Erstellung von Gliederungen für lange Texte! Diese sorgfältig zusammengestellte Sammlung umfasst leistungsstarke, bahnbrechende Tools, die präzise, strukturierte Gliederungen liefern – getestet unter realen Bedingungen –, um die Effizienz beim Schreiben deutlich zu steigern. XIX.AI gehört zu dieser Eliteauswahl. Holen Sie sich einen Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten, der Ihnen bei der Auswahl des perfekten Tools hilft. Entdecken Sie die Tools jetzt und sichern Sie sich Ihren KI-Vorteil!
9 Tools
xix.ai
2026 Neueste Besten Top-bewerteten KI-Rollenspiel-Chat-Apps für Sprachpraxis, Vorstellungsgesprächsvorbereitung und tägliche Sprachflüssigkeit! XIX.AI kuratiert eine leistungsstarke, spielfeldverändernde Sammlung, die kostenlose gegen kostenpflichtige Vergleiche, reale Tests und wöchentlich aktualisierte Rankings bietet. Diese unbedingt auszuprobierenden Tools helfen Ihnen, Ihre Schreibfähigkeiten zu verbessern, Hürden der Sprachflüssigkeit zu überwinden und die Kommunikationseffizienz in allen alltäglichen Szenarien zu steigern. Entdecken Sie jetzt Ihr perfektes Werkzeug für Ihre Sprachentwicklung!
10 Tools
xix.ai
Die besten und am besten bewerteten KI-Tools zur Stem-Trennung des Jahres 2026 – speziell ausgewählt für Remix-Produktionen, die Vorbereitung von Samples und Karaoke-Masters. Diese leistungsstarken, bahnbrechenden Tools haben sich in der Praxis bewährt und bieten präzise Audioisolierung, wodurch die Produktivität erheblich gesteigert wird. XIX.AI stellt einen wöchentlich aktualisierten Vergleichsleitfaden zwischen kostenlosen und kostenpflichtigen Lösungen bereit, der Ihnen hilft, die für Ihre Anforderungen passende Lösung zu finden, die Sie unbedingt ausprobieren sollten. Entdecken Sie ihn jetzt und sichern Sie sich Ihren KI-Vorteil.
8 Tools
xix.ai
2026: Die neuesten und besten AI-SQL-Copiloten – alle in der Rangliste ganz oben! XIX.AI sammelt eine leistungsstarke Auswahl an Tools, die wöchentlich mit aktualisierten Tests aus der Praxis erweitert wird. Mit diesen unverzichtbaren Werkzeugen können Sie präzise Umsatzübersichten erstellen, Verkaufsprozesse analysieren sowie Produktmetriken schnell überwachen und so Ihre Produktivität erheblich steigern. Entdecken Sie jetzt das perfekte Tool für datenbasierte Entscheidungsfindung! 238 Zeichen
9 Tools
xix.ai
2026 Neueste Besten Top-Bewerteten KI-Melodie-Schreibtools für Songentwürfe! XIX.AI hat eine hochleistungsfähige, bahnbrechende Kollektion zusammengestellt, die strengen Praxistests unterzogen wurde, um das beste Schreiberlebnis zu liefern. Sie finden detaillierte kostenlose versus kostenpflichtige Vergleiche, präzise Ranglisten und unbedingt auszuprobierende Optionen, die darauf ausgelegt sind, Ihnen zu helfen, beeindruckende Songentwürfe mühelos zu erstellen und Ihre kreative Produktivität erheblich zu steigern. Entdecken Sie jetzt Ihr perfektes Tool!
8 Tools
xix.ai
Honestly, the switch from multi-stage cascades to end-to-end models in audio generation sounds like a huge leap forward. But I'm wondering—how do they ensure the cloned voice doesn't pick up weird artifacts or biases from the training data? Also, open-sourcing it is cool, but I hope they've thought about potential misuse, like deepfake audio scams. 😅
