Alibaba представляет Wan2.1-VACE: Открытое решение для видео с ИИ

Alibaba представила Wan2.1-VACE, модель ИИ с открытым исходным кодом, которая призвана трансформировать процессы создания и редактирования видео.

VACE является ключевым компонентом семейства видео моделей ИИ Wan2.1 от Alibaba, и компания утверждает, что это «первая модель с открытым исходным кодом в индустрии, предлагающая комплексное решение для разнообразных задач по созданию и редактированию видео».

Если Alibaba сможет упростить процесс производства видео, объединив несколько инструментов в единую платформу, это может переопределить стандарты индустрии.

Что умеет VACE? Она генерирует видео на основе различных входных данных, таких как текстовые запросы, статические изображения или короткие видеоклипы.

Помимо создания видео, её возможности редактирования включают использование эталонных изображений или кадров для управления ИИ, продвинутые функции «перекраски» видео, изменение отдельных участков видео и расширение продолжительности видео. Alibaba заявляет, что эти инструменты «позволяют пользователям гибко комбинировать задачи, усиливая творческий потенциал».

Представьте, что вы создаёте видео с конкретными персонажами на основе предоставленных вами фотографий. VACE, как сообщается, способна это реализовать. Есть статическое изображение, которое вы хотите оживить? Эта модель ИИ с открытым исходным кодом может добавить к нему реалистичное движение.

Для точного редактирования VACE предлагает инструменты «перекраски» видео, позволяющие выполнять перенос поз между объектами, детальное управление движением, корректировку глубины и изменение цвета.

Выдающейся функцией является её способность «добавлять, изменять или удалять определённые области видео, не затрагивая окружающее пространство». Это революционное решение для точного редактирования, гарантирующее, что фон останется нетронутым. Она также может расширять видеополотно, заполняя новые области контекстно релевантным содержимым для более насыщенного и иммерсивного результата.

С VACE вы можете превратить статическое фото в видео, задавать движения объектов, определяя их траектории, заменять персонажей или объекты с использованием эталонов, анимировать эти эталоны или точно контролировать их позы.

Alibaba подчёркивает способность VACE преобразовывать высокое узкое изображение в широкоэкранное видео, интеллектуально расширяя его за счёт добавления элементов из эталонных изображений или запросов.

Возможности VACE основаны на сложной технологии, предназначенной для решения сложных задач видеомонтажа. Блок обработки видео (VCU) «обеспечивает унифицированную обработку мультимодальных входных данных, таких как текст, изображения, видео и маски».

Кроме того, структура «Контекстного адаптера» интегрирует «формализованные представления временных и пространственных измерений», обеспечивая ИИ глубокое понимание времени и пространства в видео.

Alibaba видит применение VACE в таких областях, как создание контента для социальных сетей, динамическая реклама, профессиональная постобработка для кино и телевидения, а также создание персонализированных образовательных или тренировочных видео.

Alibaba делает Wan2.1-VACE открытым исходным кодом для поддержки создателей

Разработка передовых моделей ИИ обычно требует значительных ресурсов, включая огромные вычислительные мощности и данные. Решение Alibaba сделать Wan2.1-VACE открытым исходным кодом — значительный шаг.

«Открытый доступ снижает барьеры, позволяя большему числу компаний использовать ИИ для создания адаптированного высококачественного визуального контента эффективно и доступно», — отмечает Alibaba.

Этот шаг направлен на поддержку малых компаний и индивидуальных создателей, предоставляя доступ к передовым инструментам ИИ без высоких затрат, способствуя более широким инновациям.

Alibaba предлагает две версии: мощную модель с 14 миллиардами параметров для высокопроизводительных систем и более лёгкую модель с 1.3 миллиардами параметров для менее требовательных установок. Обе доступны бесплатно на Hugging Face, GitHub и в сообществе ModelScope от Alibaba Cloud.

Смотрите также: США ужесточают правила диффузии ИИ, усиливают ограничения на экспорт чипов

Узнайте больше об ИИ и больших данных от экспертов индустрии на AI & Big Data Expo в Амстердаме, Калифорнии и Лондоне. Это событие проводится совместно с конференцией по интеллектуальной автоматизации, BlockX, неделей цифровой трансформации и выставкой по кибербезопасности и облачным технологиям.

Ознакомьтесь с предстоящими мероприятиями и вебинарами по корпоративным технологиям, организованными TechForge, здесь.