Heim
Das Open-Source-TTS-Modell „OmniVoice“ von Xiaomi ermöglicht Zero-Shot-Klonen in über 600 Sprachen
Vor kurzem hat das Kaldi-Team der nächsten Generation (k2-fsa) bei Xiaomi „OmniVoice“ offiziell als Open-Source-Projekt veröffentlicht – ein umfangreiches, mehrsprachiges Zero-Shot-Text-to-Speech-Modell, das über 600 Sprachen unterstützt. Es erzielt in mehreren wichtigen Benchmarks für die chinesische, englische und mehrsprachige Sprachsynthese Ergebnisse auf dem neuesten Stand der Technik und markiert damit einen bedeutenden Durchbruch auf diesem Gebiet.
Führende Leistung: Chinesische WER von nur 0,84 %, übertrifft Mainstream-Modelle in mehrsprachigen Tests
Im Seed-TTS-Testset für Chinesisch erreicht OmniVoice eine bemerkenswert niedrige Wortfehlerrate (WER) von nur 0,84 %. In mehrsprachigen Bewertungen übertreffen seine Ähnlichkeits- (SIM-o) und WER-Werte bekannte kommerzielle Modelle wie ElevenLabs v2 und MiniMax und zeugen von außergewöhnlicher Sprachnatürlichkeit und Klarheit.
Ultraschnelle Inferenz: RTF von nur 0,025, 40-mal schneller als in Echtzeit
OmniVoice weist einen Echtzeitfaktor (RTF) von nur 0,025 auf, was bedeutet, dass seine Synthese-Geschwindigkeit die Echtzeitanforderungen bei weitem übertrifft. Dieser enorme Effizienzgewinn ermöglicht die schnelle Erzeugung langer Sprachaufnahmen in praktischen Anwendungen und verbessert das Benutzererlebnis erheblich.
Innovative Kernarchitektur: Diskretes, nicht-autoregressives Design, inspiriert von Diffusionsmodellen
OmniVoice nutzt eine neuartige diskrete, nicht-autoregressive Architektur, die von Diffusions-Sprachmodellen inspiriert ist. Es generiert Sprache aus Text in einem einzigen Schritt und umgeht dabei traditionelle semantische Zwischentoken. Dieses optimierte Design vereinfacht die Pipeline und gewährleistet gleichzeitig eine hohe Ausgabequalität. Eine Strategie der vollständigen zufälligen Maskierung des Codebuchs in Kombination mit der Initialisierung durch vortrainierte LLMs steigert die Trainingseffizienz zusätzlich und verbessert die Klarheit und Verständlichkeit der endgültigen Sprache.
Flexibles Klonen und Anpassen von Stimmen: Funktioniert mit nur 3–10 Sekunden Audio
Das Modell unterstützt hochwertiges Zero-Shot-Stimmklonen unter Verwendung von nur 3–10 Sekunden Referenzaudio. Benutzer können Stimmattribute auch über natürliche Sprachbefehle anpassen und dabei Geschlecht, Alter, Tonhöhe, Akzent, Dialekt und sogar Spezialeffekte wie Flüstern festlegen.
Verarbeitet nicht-linguistische Symbole und ermöglicht eine fein abgestimmte Aussprachekontrolle
OmniVoice kann nicht-sprachliche Symbole wie [Lachen] verarbeiten und unterstützt die Aussprachekorrektur über Pinyin oder phonetische Symbole. Dadurch eignet es sich besonders gut für die präzise Synthese in Chinesisch und verschiedenen Dialekten.
Unterstützung für über 600 Sprachen: Beitrag zur digitalen Erhaltung von Minderheiten- und bedrohten Sprachen
Ein wesentliches Highlight von OmniVoice ist seine umfassende Sprachabdeckung, die sowohl große als auch zahlreiche Sprachen mit geringen Ressourcen effizient unterstützt. Für Minderheiten- und bedrohte Sprachen kann es mit minimalen Datenmengen hochwertige Sprache generieren und bietet damit ein erhebliches Potenzial für die digitale Sprachbewahrung und den Schutz der Kultur.
Der Code und die vortrainierten Modelle von OmniVoice sind nun auf GitHub und Hugging Face als Open Source verfügbar, sodass Entwickler sie lokal bereitstellen oder in Anwendungen integrieren können. AIbase wird das Feedback der Community und Anwendungsfälle aus der Praxis weiterhin beobachten. Entwickler sind herzlich eingeladen, ihre Erfahrungen zu teilen.
Projekt-Link: https://github.com/k2-fsa/OmniVoice
Verwandter Artikel
DeepMind-CEO Hassabis: Ich schlafe sechs Stunden pro Tag und fühle mich normalerweise gegen 1 Uhr nachts energiegeladen.
Fortune hat kürzlich ein Interview mit Demis Hassabis, dem CEO von Google DeepMind, veröffentlicht, das seinen unkonventionellen Ansatz zu Erholung und Produktivität offenbart. Hassabis gab bekannt, dass er sehr wenig schläft und seine wachen Stunden
OpenAI und Anthropic kämpfen trotz Umsatzrückgängen um Marktanteile
Obwohl jüngste Berichte darauf hindeuten, dass OpenAI seine Umsatzziele verfehlt hat, was an diesem Dienstag Druck auf die Technologieaktien ausübte, zeigen sich private Investoren in KI-Labore weiter
Einhaltung der Vorschriften für autonome Fahrzeuge in Kalifornien: Eine neue Ära von Bußgeldern, Geofences und 1 Million Meilen
Guident betreibt einen AuveTech-Shuttle in Südflorida und verwaltet mithilfe seiner Fernüberwachungstechnologie eine vier Meilen lange Strecke in West Palm Beach sowie eine eine Meile lange Strecke in
Empfehlungen zu verwandten Spezialthemen
Musikkomposition
KI-Tools zur Stim-Trennung für die Remix-Produktion, die Vorbereitung von Samples und Karaoke-Master
Die besten und am besten bewerteten KI-Tools zur Stem-Trennung des Jahres 2026 – speziell ausgewählt für Remix-Produktionen, die Vorbereitung von Samples und Karaoke-Masters. Diese leistungsstarken, bahnbrechenden Tools haben sich in der Praxis bewährt und bieten präzise Audioisolierung, wodurch die Produktivität erheblich gesteigert wird. XIX.AI stellt einen wöchentlich aktualisierten Vergleichsleitfaden zwischen kostenlosen und kostenpflichtigen Lösungen bereit, der Ihnen hilft, die für Ihre Anforderungen passende Lösung zu finden, die Sie unbedingt ausprobieren sollten. Entdecken Sie ihn jetzt und sichern Sie sich Ihren KI-Vorteil.
8 Tools
xix.ai
Datenanalyse
KI-basierte SQL-Copiloten für Umsatz-Dashboards, Kanalanalysen sowie Produktmetriken
2026: Die neuesten und besten AI-SQL-Copiloten – alle in der Rangliste ganz oben! XIX.AI sammelt eine leistungsstarke Auswahl an Tools, die wöchentlich mit aktualisierten Tests aus der Praxis erweitert wird. Mit diesen unverzichtbaren Werkzeugen können Sie präzise Umsatzübersichten erstellen, Verkaufsprozesse analysieren sowie Produktmetriken schnell überwachen und so Ihre Produktivität erheblich steigern. Entdecken Sie jetzt das perfekte Tool für datenbasierte Entscheidungsfindung! 238 Zeichen
9 Tools
xix.ai
Musikkomposition
Die besten KI-Tools zum Komponieren von Melodien für Songentwürfe
2026 Neueste Besten Top-Bewerteten KI-Melodie-Schreibtools für Songentwürfe! XIX.AI hat eine hochleistungsfähige, bahnbrechende Kollektion zusammengestellt, die strengen Praxistests unterzogen wurde, um das beste Schreiberlebnis zu liefern. Sie finden detaillierte kostenlose versus kostenpflichtige Vergleiche, präzise Ranglisten und unbedingt auszuprobierende Optionen, die darauf ausgelegt sind, Ihnen zu helfen, beeindruckende Songentwürfe mühelos zu erstellen und Ihre kreative Produktivität erheblich zu steigern. Entdecken Sie jetzt Ihr perfektes Tool!
8 Tools
xix.ai
Chatbot
Die besten KI-gestützten Gesprächstrainingstools für Vorstellungsgesprächspraxis
2026 Neueste Besten Top-bewerteten KI-Konversationstrainer-Tools für Vorstellungsgesprächspraxis sind hier auf XIX.AI! Diese kuratierte Sammlung enthält leistungsstarke, bahnbrechende Tools, die strengen Praxistests unterzogen wurden, um präzises Feedback zu liefern. Sie finden einen Vergleich zwischen kostenlosen und kostenpflichtigen Optionen sowie detaillierte Rankings, die Ihnen helfen, die empfehlenswerte Option zu wählen, die Ihr Selbstvertrauen und Ihre Fähigkeiten verbessert. Entdecken Sie jetzt Ihr perfektes Tool für den Erfolg im Vorstellungsgespräch!
12 Tools
xix.ai
Design & Kunst
Die besten KI-Tools für den Stiltransfer für kreative Experimente
Die besten und am besten bewerteten KI-Tools für den Stiltransfer im Jahr 2026 – ideal für kreative Experimente! XIX.AI hat eine leistungsstarke, bahnbrechende Sammlung unverzichtbarer Tools zusammengestellt, die in Praxistests und strengen Bewertungen außergewöhnliche Ergebnisse liefern. Diese Top-Lösungen helfen Kreativen dabei, ihre Produktivität deutlich zu steigern, indem sie die Erstellung von Inhalten beschleunigen und unendliche kreative Möglichkeiten eröffnen. Entdecken Sie jetzt Ihr perfektes Tool und legen Sie noch heute los!
9 Tools
xix.ai
Comic-Erstellung
Die besten KI-Tools für Sprechblasen zum visuellen Geschichtenerzählen
Die besten und am besten bewerteten KI-Tools für Sprechblasen zum visuellen Storytelling des Jahres 2026 finden Sie hier auf XIX.AI! Diese sorgfältig zusammengestellte Sammlung umfasst leistungsstarke, bahnbrechende Tools, die Kreativen dabei helfen, ihre Produktivität zu steigern und kreative Blockaden zu überwinden. Holen Sie sich einen Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten, sehen Sie sich Praxistests an und werfen Sie einen Blick auf die aktuellen Rankings, um die unverzichtbaren Lösungen zu finden, die sich perfekt für die Gestaltung fesselnder visueller Erzählungen eignen. Stöbern Sie jetzt und entdecken Sie Ihr ideales Tool!
10 Tools
xix.ai
Kommentare (0)
Vor kurzem hat das Kaldi-Team der nächsten Generation (k2-fsa) bei Xiaomi „OmniVoice“ offiziell als Open-Source-Projekt veröffentlicht – ein umfangreiches, mehrsprachiges Zero-Shot-Text-to-Speech-Modell, das über 600 Sprachen unterstützt. Es erzielt in mehreren wichtigen Benchmarks für die chinesische, englische und mehrsprachige Sprachsynthese Ergebnisse auf dem neuesten Stand der Technik und markiert damit einen bedeutenden Durchbruch auf diesem Gebiet.
Führende Leistung: Chinesische WER von nur 0,84 %, übertrifft Mainstream-Modelle in mehrsprachigen Tests
Im Seed-TTS-Testset für Chinesisch erreicht OmniVoice eine bemerkenswert niedrige Wortfehlerrate (WER) von nur 0,84 %. In mehrsprachigen Bewertungen übertreffen seine Ähnlichkeits- (SIM-o) und WER-Werte bekannte kommerzielle Modelle wie ElevenLabs v2 und MiniMax und zeugen von außergewöhnlicher Sprachnatürlichkeit und Klarheit.
Ultraschnelle Inferenz: RTF von nur 0,025, 40-mal schneller als in Echtzeit
OmniVoice weist einen Echtzeitfaktor (RTF) von nur 0,025 auf, was bedeutet, dass seine Synthese-Geschwindigkeit die Echtzeitanforderungen bei weitem übertrifft. Dieser enorme Effizienzgewinn ermöglicht die schnelle Erzeugung langer Sprachaufnahmen in praktischen Anwendungen und verbessert das Benutzererlebnis erheblich.
Innovative Kernarchitektur: Diskretes, nicht-autoregressives Design, inspiriert von Diffusionsmodellen
OmniVoice nutzt eine neuartige diskrete, nicht-autoregressive Architektur, die von Diffusions-Sprachmodellen inspiriert ist. Es generiert Sprache aus Text in einem einzigen Schritt und umgeht dabei traditionelle semantische Zwischentoken. Dieses optimierte Design vereinfacht die Pipeline und gewährleistet gleichzeitig eine hohe Ausgabequalität. Eine Strategie der vollständigen zufälligen Maskierung des Codebuchs in Kombination mit der Initialisierung durch vortrainierte LLMs steigert die Trainingseffizienz zusätzlich und verbessert die Klarheit und Verständlichkeit der endgültigen Sprache.
Flexibles Klonen und Anpassen von Stimmen: Funktioniert mit nur 3–10 Sekunden Audio
Das Modell unterstützt hochwertiges Zero-Shot-Stimmklonen unter Verwendung von nur 3–10 Sekunden Referenzaudio. Benutzer können Stimmattribute auch über natürliche Sprachbefehle anpassen und dabei Geschlecht, Alter, Tonhöhe, Akzent, Dialekt und sogar Spezialeffekte wie Flüstern festlegen.
Verarbeitet nicht-linguistische Symbole und ermöglicht eine fein abgestimmte Aussprachekontrolle
OmniVoice kann nicht-sprachliche Symbole wie [Lachen] verarbeiten und unterstützt die Aussprachekorrektur über Pinyin oder phonetische Symbole. Dadurch eignet es sich besonders gut für die präzise Synthese in Chinesisch und verschiedenen Dialekten.
Unterstützung für über 600 Sprachen: Beitrag zur digitalen Erhaltung von Minderheiten- und bedrohten Sprachen
Ein wesentliches Highlight von OmniVoice ist seine umfassende Sprachabdeckung, die sowohl große als auch zahlreiche Sprachen mit geringen Ressourcen effizient unterstützt. Für Minderheiten- und bedrohte Sprachen kann es mit minimalen Datenmengen hochwertige Sprache generieren und bietet damit ein erhebliches Potenzial für die digitale Sprachbewahrung und den Schutz der Kultur.
Der Code und die vortrainierten Modelle von OmniVoice sind nun auf GitHub und Hugging Face als Open Source verfügbar, sodass Entwickler sie lokal bereitstellen oder in Anwendungen integrieren können. AIbase wird das Feedback der Community und Anwendungsfälle aus der Praxis weiterhin beobachten. Entwickler sind herzlich eingeladen, ihre Erfahrungen zu teilen.
Projekt-Link: https://github.com/k2-fsa/OmniVoice
DeepMind-CEO Hassabis: Ich schlafe sechs Stunden pro Tag und fühle mich normalerweise gegen 1 Uhr nachts energiegeladen.
Fortune hat kürzlich ein Interview mit Demis Hassabis, dem CEO von Google DeepMind, veröffentlicht, das seinen unkonventionellen Ansatz zu Erholung und Produktivität offenbart. Hassabis gab bekannt, dass er sehr wenig schläft und seine wachen Stunden
OpenAI und Anthropic kämpfen trotz Umsatzrückgängen um Marktanteile
Obwohl jüngste Berichte darauf hindeuten, dass OpenAI seine Umsatzziele verfehlt hat, was an diesem Dienstag Druck auf die Technologieaktien ausübte, zeigen sich private Investoren in KI-Labore weiter
Einhaltung der Vorschriften für autonome Fahrzeuge in Kalifornien: Eine neue Ära von Bußgeldern, Geofences und 1 Million Meilen
Guident betreibt einen AuveTech-Shuttle in Südflorida und verwaltet mithilfe seiner Fernüberwachungstechnologie eine vier Meilen lange Strecke in West Palm Beach sowie eine eine Meile lange Strecke in
Die besten und am besten bewerteten KI-Tools zur Stem-Trennung des Jahres 2026 – speziell ausgewählt für Remix-Produktionen, die Vorbereitung von Samples und Karaoke-Masters. Diese leistungsstarken, bahnbrechenden Tools haben sich in der Praxis bewährt und bieten präzise Audioisolierung, wodurch die Produktivität erheblich gesteigert wird. XIX.AI stellt einen wöchentlich aktualisierten Vergleichsleitfaden zwischen kostenlosen und kostenpflichtigen Lösungen bereit, der Ihnen hilft, die für Ihre Anforderungen passende Lösung zu finden, die Sie unbedingt ausprobieren sollten. Entdecken Sie ihn jetzt und sichern Sie sich Ihren KI-Vorteil.
8 Tools
xix.ai
2026: Die neuesten und besten AI-SQL-Copiloten – alle in der Rangliste ganz oben! XIX.AI sammelt eine leistungsstarke Auswahl an Tools, die wöchentlich mit aktualisierten Tests aus der Praxis erweitert wird. Mit diesen unverzichtbaren Werkzeugen können Sie präzise Umsatzübersichten erstellen, Verkaufsprozesse analysieren sowie Produktmetriken schnell überwachen und so Ihre Produktivität erheblich steigern. Entdecken Sie jetzt das perfekte Tool für datenbasierte Entscheidungsfindung! 238 Zeichen
9 Tools
xix.ai
2026 Neueste Besten Top-Bewerteten KI-Melodie-Schreibtools für Songentwürfe! XIX.AI hat eine hochleistungsfähige, bahnbrechende Kollektion zusammengestellt, die strengen Praxistests unterzogen wurde, um das beste Schreiberlebnis zu liefern. Sie finden detaillierte kostenlose versus kostenpflichtige Vergleiche, präzise Ranglisten und unbedingt auszuprobierende Optionen, die darauf ausgelegt sind, Ihnen zu helfen, beeindruckende Songentwürfe mühelos zu erstellen und Ihre kreative Produktivität erheblich zu steigern. Entdecken Sie jetzt Ihr perfektes Tool!
8 Tools
xix.ai
2026 Neueste Besten Top-bewerteten KI-Konversationstrainer-Tools für Vorstellungsgesprächspraxis sind hier auf XIX.AI! Diese kuratierte Sammlung enthält leistungsstarke, bahnbrechende Tools, die strengen Praxistests unterzogen wurden, um präzises Feedback zu liefern. Sie finden einen Vergleich zwischen kostenlosen und kostenpflichtigen Optionen sowie detaillierte Rankings, die Ihnen helfen, die empfehlenswerte Option zu wählen, die Ihr Selbstvertrauen und Ihre Fähigkeiten verbessert. Entdecken Sie jetzt Ihr perfektes Tool für den Erfolg im Vorstellungsgespräch!
12 Tools
xix.ai
Die besten und am besten bewerteten KI-Tools für den Stiltransfer im Jahr 2026 – ideal für kreative Experimente! XIX.AI hat eine leistungsstarke, bahnbrechende Sammlung unverzichtbarer Tools zusammengestellt, die in Praxistests und strengen Bewertungen außergewöhnliche Ergebnisse liefern. Diese Top-Lösungen helfen Kreativen dabei, ihre Produktivität deutlich zu steigern, indem sie die Erstellung von Inhalten beschleunigen und unendliche kreative Möglichkeiten eröffnen. Entdecken Sie jetzt Ihr perfektes Tool und legen Sie noch heute los!
9 Tools
xix.ai
Die besten und am besten bewerteten KI-Tools für Sprechblasen zum visuellen Storytelling des Jahres 2026 finden Sie hier auf XIX.AI! Diese sorgfältig zusammengestellte Sammlung umfasst leistungsstarke, bahnbrechende Tools, die Kreativen dabei helfen, ihre Produktivität zu steigern und kreative Blockaden zu überwinden. Holen Sie sich einen Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten, sehen Sie sich Praxistests an und werfen Sie einen Blick auf die aktuellen Rankings, um die unverzichtbaren Lösungen zu finden, die sich perfekt für die Gestaltung fesselnder visueller Erzählungen eignen. Stöbern Sie jetzt und entdecken Sie Ihr ideales Tool!
10 Tools
xix.ai
