Heim
Alibaba Tongyi stellt Sprachmodell mit „FreeStyle”-Steuerung in natürlicher Sprache vor
Heute stellte das Speech Team von Alibaba Tongyi Lab zwei bahnbrechende Sprachgenerierungsmodelle vor: Fun-CosyVoice3.5 und Fun-AudioGen-VD. Das herausragende Merkmal dieser Modelle ist ihre Unterstützung für „FreeStyle”-Befehle. Anstelle komplexer Parametereinstellungen können Benutzer mit einfachen Beschreibungen in natürlicher Sprache den Ausdruck der Stimme präzise steuern oder komplexe Audioszenen von Grund auf neu erstellen.

Jedes Modell dient unterschiedlichen Zwecken:
Fun-CosyVoice3.5: Mehrsprachige Replikation und fein abgestimmte Steuerung
Diese verbesserte Version von CosyVoice erzielt grundlegende Durchbrüche beim Verständnis der Nuancen des Sprachausdrucks.
Befehlgesteuerte Generierung: Benutzer können Anweisungen wie „sprich selbstbewusster” oder „verlangsame mit emotionaler Variation” eingeben, um die Stimme in Echtzeit anzupassen.
Spracherweiterung: Durch die zusätzliche Unterstützung für Thai, Indonesisch, Portugiesisch und Vietnamesisch bleibt die branchenführende Leistung in Bezug auf Transkriptionsgenauigkeit (WER) und Stimmähnlichkeit in 13 Sprachen erhalten.
Optimierung seltener Zeichen: Durch spezielles Training wurde die Fehlerquote für ungewöhnliche Zeichen von 15,2 % auf 5,3 %reduziert.
Leistungssteigerung: Die Latenz des ersten Pakets wurde um 35 % verringert, was die Flüssigkeit der Echtzeit-Interaktion erheblich verbessert.
Fun-AudioGen-VD: Umfassendes Sounddesign
Dieses Modell fungiert als „Audio-Regisseur“ und erzeugt integrierte Audiodaten, die „Charaktere + Umgebungen“ kombinieren.
Stimmenanpassung: Legen Sie Geschlecht, Alter, Akzent und detaillierte Eigenschaften wie „heisere, tiefe oder tiefe” Stimmen fest.
Emotionen und Rollenspiel: Simuliert Rollen wie Kundendienstmitarbeiter, Rundfunksprecher und Kinder und vermittelt sogar komplexe Zustände wie „äußerlich ruhig, innerlich angespannt“.
Immersive Umgebungen: Fügt Hintergrundgeräusche (Chaos auf dem Schlachtfeld, Gemurmel im Café) und räumliche Effekte (Kathedralenhall, Unterwasserakustik) für eine vollständige räumliche Simulation hinzu.
Tongyi Lab merkt an, dass diese Modelle die Erstellung hochwertiger Stimmen demokratisieren und leistungsstarke KI-Unterstützung für Podcasting, Spieleentwicklung und Film-Postproduktion bieten werden.
Verwandter Artikel
DeepMind-CEO Hassabis: Ich schlafe sechs Stunden pro Tag und fühle mich normalerweise gegen 1 Uhr nachts energiegeladen.
Fortune hat kürzlich ein Interview mit Demis Hassabis, dem CEO von Google DeepMind, veröffentlicht, das seinen unkonventionellen Ansatz zu Erholung und Produktivität offenbart. Hassabis gab bekannt, dass er sehr wenig schläft und seine wachen Stunden
OpenAI und Anthropic kämpfen trotz Umsatzrückgängen um Marktanteile
Obwohl jüngste Berichte darauf hindeuten, dass OpenAI seine Umsatzziele verfehlt hat, was an diesem Dienstag Druck auf die Technologieaktien ausübte, zeigen sich private Investoren in KI-Labore weiter
Einhaltung der Vorschriften für autonome Fahrzeuge in Kalifornien: Eine neue Ära von Bußgeldern, Geofences und 1 Million Meilen
Guident betreibt einen AuveTech-Shuttle in Südflorida und verwaltet mithilfe seiner Fernüberwachungstechnologie eine vier Meilen lange Strecke in West Palm Beach sowie eine eine Meile lange Strecke in
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)
Heute stellte das Speech Team von Alibaba Tongyi Lab zwei bahnbrechende Sprachgenerierungsmodelle vor: Fun-CosyVoice3.5 und Fun-AudioGen-VD. Das herausragende Merkmal dieser Modelle ist ihre Unterstützung für „FreeStyle”-Befehle. Anstelle komplexer Parametereinstellungen können Benutzer mit einfachen Beschreibungen in natürlicher Sprache den Ausdruck der Stimme präzise steuern oder komplexe Audioszenen von Grund auf neu erstellen.

Jedes Modell dient unterschiedlichen Zwecken:
Fun-CosyVoice3.5: Mehrsprachige Replikation und fein abgestimmte Steuerung
Diese verbesserte Version von CosyVoice erzielt grundlegende Durchbrüche beim Verständnis der Nuancen des Sprachausdrucks.
Befehlgesteuerte Generierung: Benutzer können Anweisungen wie „sprich selbstbewusster” oder „verlangsame mit emotionaler Variation” eingeben, um die Stimme in Echtzeit anzupassen.
Spracherweiterung: Durch die zusätzliche Unterstützung für Thai, Indonesisch, Portugiesisch und Vietnamesisch bleibt die branchenführende Leistung in Bezug auf Transkriptionsgenauigkeit (WER) und Stimmähnlichkeit in 13 Sprachen erhalten.
Optimierung seltener Zeichen: Durch spezielles Training wurde die Fehlerquote für ungewöhnliche Zeichen von 15,2 % auf 5,3 %reduziert.
Leistungssteigerung: Die Latenz des ersten Pakets wurde um 35 % verringert, was die Flüssigkeit der Echtzeit-Interaktion erheblich verbessert.
Fun-AudioGen-VD: Umfassendes Sounddesign
Dieses Modell fungiert als „Audio-Regisseur“ und erzeugt integrierte Audiodaten, die „Charaktere + Umgebungen“ kombinieren.
Stimmenanpassung: Legen Sie Geschlecht, Alter, Akzent und detaillierte Eigenschaften wie „heisere, tiefe oder tiefe” Stimmen fest.
Emotionen und Rollenspiel: Simuliert Rollen wie Kundendienstmitarbeiter, Rundfunksprecher und Kinder und vermittelt sogar komplexe Zustände wie „äußerlich ruhig, innerlich angespannt“.
Immersive Umgebungen: Fügt Hintergrundgeräusche (Chaos auf dem Schlachtfeld, Gemurmel im Café) und räumliche Effekte (Kathedralenhall, Unterwasserakustik) für eine vollständige räumliche Simulation hinzu.
Tongyi Lab merkt an, dass diese Modelle die Erstellung hochwertiger Stimmen demokratisieren und leistungsstarke KI-Unterstützung für Podcasting, Spieleentwicklung und Film-Postproduktion bieten werden.
DeepMind-CEO Hassabis: Ich schlafe sechs Stunden pro Tag und fühle mich normalerweise gegen 1 Uhr nachts energiegeladen.
Fortune hat kürzlich ein Interview mit Demis Hassabis, dem CEO von Google DeepMind, veröffentlicht, das seinen unkonventionellen Ansatz zu Erholung und Produktivität offenbart. Hassabis gab bekannt, dass er sehr wenig schläft und seine wachen Stunden
OpenAI und Anthropic kämpfen trotz Umsatzrückgängen um Marktanteile
Obwohl jüngste Berichte darauf hindeuten, dass OpenAI seine Umsatzziele verfehlt hat, was an diesem Dienstag Druck auf die Technologieaktien ausübte, zeigen sich private Investoren in KI-Labore weiter











