Alibaba enthüllt Wan2.1-VACE: Open-Source-KI-Videolösung

Alibaba hat Wan2.1-VACE vorgestellt, ein Open-Source-KI-Modell, das die Prozesse der Videoproduktion und -bearbeitung revolutionieren soll.

VACE ist eine zentrale Komponente der Wan2.1-Video-KI-Modellfamilie von Alibaba, wobei das Unternehmen behauptet, es sei „das erste Open-Source-Modell in der Branche, das eine umfassende Lösung für vielfältige Aufgaben der Videoproduktion und -bearbeitung bietet.“

Wenn Alibaba den Videoproduktionsprozess optimieren und mehrere Tools in einer einzigen Plattform konsolidieren kann, könnte dies die Branchenstandards neu definieren.

Was kann VACE? Es generiert Videos aus verschiedenen Eingaben, wie Textprompts, statischen Bildern oder kurzen Videoclips.

Neben der Videoproduktion umfassen seine Bearbeitungsfunktionen die Nutzung von Referenzbildern oder -frames zur Steuerung der KI, fortschrittliche Funktionen zum „Umgestalten“ von Videos, das Ändern bestimmter Videosegmente und das Verlängern der Videodauer. Alibaba gibt an, dass diese Tools „Nutzern ermöglichen, Aufgaben flexibel zu kombinieren und das kreative Potenzial zu steigern.“

Stellen Sie sich vor, Sie erstellen ein Video mit spezifischen Charakteren basierend auf Fotos, die Sie bereitstellen. VACE kann dies Berichten zufolge ermöglichen. Haben Sie ein statisches Bild, das Sie animieren möchten? Dieses Open-Source-KI-Modell kann ihm lebensechte Bewegungen hinzufügen.

Für präzise Bearbeitungen bietet VACE „Video-Umgestaltung“-Tools, die Posenübertragungen zwischen Subjekten, detaillierte Bewegungssteuerung, Tiefenanpassungen und Farbmodifikationen ermöglichen.

Ein herausragendes Merkmal ist die Fähigkeit, „bestimmte Videobereiche hinzuzufügen, zu ändern oder zu entfernen, ohne die Umgebung zu beeinträchtigen.“ Dies ist ein Gamechanger für präzise Bearbeitungen, da Hintergründe unberührt bleiben. Es kann auch die Videoleinwand erweitern und neue Bereiche mit kontextuell relevantem Inhalt füllen, um ein reichhaltigeres, immersiveres Ergebnis zu erzielen.

Mit VACE können Sie ein statisches Foto in ein Video umwandeln, Objektbewegungen durch Definieren von Pfaden bestimmen, Charaktere oder Objekte mithilfe von Referenzen austauschen, diese Referenzen animieren oder ihre Posen präzise steuern.

Alibaba hebt die Fähigkeit von VACE hervor, ein hohes, schmales Bild in ein Breitbildvideo umzuwandeln, indem es intelligent zusätzliche Elemente aus Referenzbildern oder Prompts einbezieht.

Die Fähigkeiten von VACE basieren auf hochentwickelter Technologie, die entwickelt wurde, um die Komplexitäten der Videobearbeitung zu bewältigen. Die Video Condition Unit (VCU) „ermöglicht die einheitliche Verarbeitung von multimodalen Eingaben wie Text, Bildern, Videos und Masken.“

Zusätzlich integriert die „Context Adapter-Struktur“ „formalierte Darstellungen von zeitlichen und räumlichen Dimensionen“, was der KI ein tiefes Verständnis von Zeit und Raum innerhalb von Videos verleiht.

Alibaba sieht VACE in Anwendungen wie der Erstellung von Social-Media-Inhalten, dynamischer Werbung, professioneller Postproduktion für Film und Fernsehen sowie maßgeschneiderten Bildungs- oder Schulungsvideos glänzen.

Alibaba teilt Wan2.1-VACE als Open-Source, um Kreative zu stärken

Die Entwicklung fortschrittlicher KI-Modelle erfordert in der Regel erhebliche Ressourcen, einschließlich enormer Rechenleistung und Daten. Alibabas Entscheidung, Wan2.1-VACE als Open-Source bereitzustellen, ist ein bedeutender Schritt.

„Offener Zugang senkt die Barrieren und ermöglicht mehr Unternehmen, KI zu nutzen, um maßgeschneiderte, hochwertige visuelle Inhalte effizient und kostengünstig zu erstellen,“ bemerkt Alibaba.

Dieser Schritt zielt darauf ab, kleinere Unternehmen und einzelne Kreative zu stärken, indem ihnen Zugang zu hochmodernen KI-Tools ohne hohe Kosten gewährt wird, was breitere Innovationen fördert.

Alibaba bietet zwei Versionen an: ein robustes Modell mit 14 Milliarden Parametern für leistungsstarke Systeme und ein leichteres Modell mit 1,3 Milliarden Parametern für weniger anspruchsvolle Setups. Beide sind kostenlos auf Hugging Face, GitHub und der ModelScope-Community von Alibaba Cloud verfügbar.

Siehe auch: USA verschärfen KI-Diffusionsregeln, stärken Exportbeschränkungen für Chips

Erfahren Sie mehr über KI und Big Data von Branchenexperten auf der AI & Big Data Expo in Amsterdam, Kalifornien und London. Diese Veranstaltung findet zusammen mit der Intelligent Automation Conference, BlockX, Digital Transformation Week und Cyber Security & Cloud Expo statt.

Entdecken Sie kommende Veranstaltungen und Webinare zu Unternehmenstechnologien, die von TechForge veranstaltet werden, hier.