Alibaba Dévoile Wan2.1-VACE : Solution Vidéo IA Open-Source

Alibaba a présenté Wan2.1-VACE, un modèle d'IA open-source prêt à transformer les processus de création et d'édition vidéo.

VACE est un composant clé de la famille de modèles vidéo IA Wan2.1 d’Alibaba, l’entreprise affirmant qu’il s’agit du « premier modèle open-source de l’industrie à offrir une solution complète pour diverses tâches de génération et d’édition vidéo ».

Si Alibaba parvient à simplifier le processus de production vidéo, en regroupant plusieurs outils dans une seule plateforme, cela pourrait redéfinir les normes de l’industrie.

Que peut faire VACE ? Il génère des vidéos à partir de diverses entrées, telles que des invites textuelles, des images statiques ou de courts clips vidéo.

Outre la création vidéo, ses capacités d’édition incluent l’utilisation d’images ou de cadres de référence pour guider l’IA, des fonctionnalités avancées de « repeinture » vidéo, la modification de sections spécifiques d’une vidéo et l’extension de la durée des vidéos. Alibaba indique que ces outils « permettent aux utilisateurs de combiner les tâches de manière flexible, augmentant ainsi le potentiel créatif ».

Imaginez créer une vidéo mettant en scène des personnages spécifiques à partir de photos que vous fournissez. VACE peut apparemment le réaliser. Vous avez une image statique que vous souhaitez animer ? Ce modèle d’IA open-source peut lui ajouter un mouvement réaliste.

Pour une édition précise, VACE propose des outils de « repeinture » vidéo, permettant des transferts de poses entre sujets, un contrôle détaillé des mouvements, des ajustements de profondeur et des modifications de couleur.

Une fonctionnalité remarquable est sa capacité à « ajouter, modifier ou supprimer des zones spécifiques d’une vidéo sans affecter l’environnement ». Cela change la donne pour des éditions précises, garantissant que les arrière-plans restent intacts. Il peut également agrandir la toile vidéo, remplissant les nouvelles zones avec un contenu contextuellement pertinent pour un résultat plus riche et immersif.

Avec VACE, vous pouvez transformer une photo statique en vidéo, dicter les mouvements d’objets en définissant des trajectoires, échanger des personnages ou objets à l’aide de références, animer ces références ou contrôler précisément leurs poses.

Alibaba souligne la capacité de VACE à convertir une image étroite et verticale en une vidéo grand écran, en l’élargissant intelligemment en intégrant des éléments supplémentaires à partir d’images de référence ou d’invites.

Les capacités de VACE sont alimentées par une technologie sophistiquée conçue pour relever les complexités de l’édition vidéo. L’Unité de Condition Vidéo (VCU) « permet un traitement unifié des entrées multimodales comme le texte, les images, les vidéos et les masques ».

De plus, la structure « Context Adapter » intègre des « représentations formalisées des dimensions temporelles et spatiales », donnant à l’IA une compréhension profonde du temps et de l’espace dans les vidéos.

Alibaba envisage que VACE excelle dans des applications telles que la création de contenu pour les réseaux sociaux, la publicité dynamique, la post-production professionnelle pour le cinéma et la télévision, et les vidéos éducatives ou de formation personnalisées.

Alibaba Partage Wan2.1-VACE en Open-Source pour Habiliter les Créateurs

Développer des modèles d’IA avancés nécessite généralement des ressources importantes, y compris une puissance de calcul et des données considérables. La décision d’Alibaba de rendre Wan2.1-VACE open-source est un mouvement significatif.

« Un accès ouvert réduit les barrières, permettant à davantage d’entreprises d’exploiter l’IA pour créer un contenu visuel de haute qualité, personnalisé, de manière efficace et abordable », note Alibaba.

Ce mouvement vise à habiliter les petites entreprises et les créateurs individuels en leur fournissant un accès à des outils d’IA de pointe sans coûts élevés, favorisant une innovation plus large.

Alibaba propose deux versions : un modèle robuste de 14 milliards de paramètres pour les systèmes haute performance et un modèle plus léger de 1,3 milliard de paramètres pour des configurations moins exigeantes. Les deux sont disponibles gratuitement sur Hugging Face, GitHub et la communauté ModelScope d’Alibaba Cloud.

Voir aussi : Les États-Unis Renforcent les Règles de Diffusion de l’IA, Renforcent les Restrictions sur l’Exportation de Puces

Découvrez plus sur l’IA et le big data auprès d’experts de l’industrie lors de l’AI & Big Data Expo à Amsterdam, en Californie et à Londres. Cet événement est co-organisé avec la Conférence sur l’Automatisation Intelligente, BlockX, la Semaine de la Transformation Numérique et l’Expo sur la Cybersécurité et le Cloud.

Explorez les événements et webinaires à venir sur la technologie d’entreprise organisés par TechForge ici.