Heim
Tongyi stellt erstes sprachliches KI-Modell auf Filmniveau vor: Emotionale Intelligenz in der Sprachverarbeitung erreicht

Nachdem AIGC die Bild- und Textgenerierung revolutioniert hat, wird nun die letzte Grenze in Film und Fernsehen – die Sprachaufnahmen – von Alibabas Tongyi Lab durchbrochen. Am 16. März stellte Tongyi Lab offiziell das weltweit erste multimodale Großmodell für filmische Sprachaufnahmen in verschiedenen Szenarien vor und stellte es als Open-Source-Projekt zur Verfügung: Fun-CineForge.
Seit Jahren leidet die KI-Stimmsynthese unter „roboterhaften“ und „ansagerartigen“ Klängen. In Film und Fernsehen stellten die Erfassung emotionaler Tiefe, die Abmischung von Umgebungsgeräuschen und die Lippensynchronisation weiterhin erhebliche Hürden dar. Fun-CineForge wurde speziell entwickelt, um diese Herausforderungen zu meistern.
Dieses Modell führt ein bahnbrechendes integriertes „Daten + Modell“-Design ein. Neben dem Modell stellte Tongyi Lab eine Methode zur Erstellung hochwertiger Datensätze bereit. Dies ermöglicht es der KI, über das bloße Vorlesen von Text hinauszugehen und komplexe filmische Kontexte tiefgreifend zu verstehen, wobei subtile emotionale Nuancen und räumliche Audioeffekte nachgebildet werden.
Als neuestes Mitglied der Alibaba Tongyi-Familie ist das Open-Source-Modell Fun-CineForge ein echter Game-Changer. Es bietet Videokünstlern ein Postproduktionswerkzeug auf „Kino-Niveau“ und ermöglicht es durch leicht zugängliche Technologie auch unabhängigen Filmemachern und Produktionen mit mittlerem Budget, hochwertige, mehrsprachige Synchronisationen zu minimalen Kosten zu realisieren.
Vom früheren Qwen3-Omni bis zum aktuellen Fun-CineForge vervollständigt die Tongyi-Serie rasch das multimodale Puzzle. Da KI lernt, „wie ein Mensch zu agieren“, könnte sich die gesamte Landschaft der Filmübersetzung und Postproduktion neu gestalten. Das Modell und sein Plan zur Datensatzerstellung sind nun auf den wichtigsten Open-Source-Plattformen verfügbar, was signalisiert, dass das Zeitalter der „KI in Kinoqualität“ früher als erwartet anbricht.
Verwandter Artikel
Meta entfernt KI-Fotobearbeitungsfunktion nach Nutzerprotesten
Meta, der Social-Media-Riese, ist erneut in eine öffentliche Debatte über die heikle Balance zwischen künstlicher Intelligenz und dem Schutz der Privatsphäre der Nutzer verwickelt. Laut TechCrunch hat Meta’s Superintelligence Labs diese Woche einen n
DeepMind-CEO Hassabis: Ich schlafe sechs Stunden pro Tag und fühle mich normalerweise gegen 1 Uhr nachts energiegeladen.
Fortune hat kürzlich ein Interview mit Demis Hassabis, dem CEO von Google DeepMind, veröffentlicht, das seinen unkonventionellen Ansatz zu Erholung und Produktivität offenbart. Hassabis gab bekannt, dass er sehr wenig schläft und seine wachen Stunden
OpenAI und Anthropic kämpfen trotz Umsatzrückgängen um Marktanteile
Obwohl jüngste Berichte darauf hindeuten, dass OpenAI seine Umsatzziele verfehlt hat, was an diesem Dienstag Druck auf die Technologieaktien ausübte, zeigen sich private Investoren in KI-Labore weiter
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)

Nachdem AIGC die Bild- und Textgenerierung revolutioniert hat, wird nun die letzte Grenze in Film und Fernsehen – die Sprachaufnahmen – von Alibabas Tongyi Lab durchbrochen. Am 16. März stellte
Seit Jahren leidet die KI-Stimmsynthese unter „roboterhaften“ und „ansagerartigen“ Klängen. In Film und Fernsehen stellten die Erfassung emotionaler Tiefe, die Abmischung von Umgebungsgeräuschen und die Lippensynchronisation weiterhin erhebliche Hürden dar.
Dieses Modell führt ein bahnbrechendes integriertes „Daten + Modell“-Design ein. Neben dem Modell stellte
Als neuestes Mitglied der Alibaba Tongyi-Familie ist das Open-Source-Modell
Vom früheren
Meta entfernt KI-Fotobearbeitungsfunktion nach Nutzerprotesten
Meta, der Social-Media-Riese, ist erneut in eine öffentliche Debatte über die heikle Balance zwischen künstlicher Intelligenz und dem Schutz der Privatsphäre der Nutzer verwickelt. Laut TechCrunch hat Meta’s Superintelligence Labs diese Woche einen n
DeepMind-CEO Hassabis: Ich schlafe sechs Stunden pro Tag und fühle mich normalerweise gegen 1 Uhr nachts energiegeladen.
Fortune hat kürzlich ein Interview mit Demis Hassabis, dem CEO von Google DeepMind, veröffentlicht, das seinen unkonventionellen Ansatz zu Erholung und Produktivität offenbart. Hassabis gab bekannt, dass er sehr wenig schläft und seine wachen Stunden
OpenAI und Anthropic kämpfen trotz Umsatzrückgängen um Marktanteile
Obwohl jüngste Berichte darauf hindeuten, dass OpenAI seine Umsatzziele verfehlt hat, was an diesem Dienstag Druck auf die Technologieaktien ausübte, zeigen sich private Investoren in KI-Labore weiter











