Alibaba, Wan2.1-VACE 공개: 오픈소스 AI 비디오 솔루션

Alibaba가 Wan2.1-VACE를 공개, 비디오 제작 및 편집 프로세스를 혁신할 오픈소스 AI 모델.

VACE는 Alibaba의 Wan2.1 비디오 AI 모델 패밀리의 핵심 구성 요소로, 회사는 이를 업계 최초의 다양한 비디오 생성 및 편집 작업을 위한 포괄적 솔루션을 제공하는 오픈소스 모델이라고 주장.

Alibaba가 비디오 제작 프로세스를 간소화하고 여러 도구를 단일 플랫폼으로 통합한다면, 업계 표준을 재정의할 수 있음.

VACE는 무엇을 할 수 있나? 텍스트 프롬프트, 정적 이미지 또는 짧은 비디오 클립과 같은 다양한 입력에서 비디오를 생성.

비디오 제작 외에도, 참조 이미지나 프레임을 사용해 AI를 안내하는 편집 기능, 고급 비디오 “재페인팅” 기능, 특정 비디오 섹션 수정, 비디오 길이 연장을 포함. Alibaba는 이러한 도구가 “사용자들이 작업을 유연하게 결합하여 창의적 잠재력을 높일 수 있게 한다”고 밝힘.

당신이 제공한 사진을 기반으로 특정 캐릭터가 등장하는 비디오를 만드는 것을 상상해 보라. VACE는 이를 실현할 수 있다고 전해짐. 애니메이션화하고 싶은 정적 이미지가 있나? 이 오픈소스 AI 모델은 생동감 있는 움직임을 추가할 수 있음.

정밀 편집을 위해 VACE는 “비디오 재페인팅” 도구를 제공, 피사체 간 포즈 전송, 세부 움직임 제어, 깊이 조정, 색상 수정을 가능하게 함.

특히 주목할 기능은 “주변에 영향을 주지 않고 특정 비디오 영역을 추가, 수정 또는 제거”할 수 있는 능력. 이는 배경을 손대지 않고 정밀 편집을 위한 획기적인 기능. 또한 비디오 캔버스를 확장해 상황에 맞는 새로운 콘텐츠로 채워 더 풍부하고 몰입감 있는 결과를 제공.

VACE를 사용하면 정적 사진을 비디오로 변환하고, 경로를 정의해 객체 움직임을 지정하거나, 참조를 사용해 캐릭터나 객체를 교체하거나, 참조를 애니메이션화하거나, 포즈를 정밀하게 제어할 수 있음.

Alibaba는 VACE가 세로로 긴 이미지를 참조 이미지나 프롬프트에서 추가 요소를 통합해 와이드스크린 비디오로 지능적으로 확장할 수 있다고 강조.

VACE의 기능은 비디오 편집의 복잡성을 해결하도록 설계된 정교한 기술로 뒷받침됨. 비디오 조건 유닛(VCU)은 “텍스트, 이미지, 비디오, 마스크와 같은 멀티모달 입력을 통합 처리” 가능.

또한 “컨텍스트 어댑터 구조”는 “시간적, 공간적 차원의 형식화된 표현”을 통합해 AI가 비디오 내 시간과 공간을 깊이 이해하도록 함.

Alibaba는 VACE가 소셜 미디어 콘텐츠 제작, 동적 광고, 영화 및 TV용 전문 사후 제작, 맞춤형 교육 또는 훈련 비디오와 같은 응용 분야에서 탁월할 것으로 전망.

Alibaba, Wan2.1-VACE를 오픈소스로 공유해 창작자 역량 강화

고급 AI 모델 개발은 일반적으로 막대한 컴퓨팅 파워와 데이터를 포함한 상당한 자원을 요구. Alibaba의 Wan2.1-VACE 오픈소스 결정은 중요한 움직임.

“오픈 액세스는 장벽을 낮춰 더 많은 기업이 AI를 활용해 맞춤형 고품질 시각 콘텐츠를 효율적이고 저렴하게 제작할 수 있게 한다”고 Alibaba는 언급.

이 움직임은 고비용 없이 첨단 AI 도구에 대한 접근을 제공해 소규모 기업과 개인 창작자를 강화하고, 더 넓은 혁신을 촉진하는 것을 목표로 함.

Alibaba는 고성능 시스템을 위한 강력한 140억 파라미터 모델과 덜 까다로운 설정을 위한 가벼운 13억 파라미터 모델, 두 가지 버전을 제공. 둘 다 Hugging Face, GitHub, Alibaba Cloud의 ModelScope 커뮤니티에서 무료로 사용 가능.

참고: 미국, AI 확산 규제 강화, 칩 수출 제한 강화

암스테르담, 캘리포니아, 런던에서 열리는 AI & Big Data Expo에서 업계 전문가들로부터 AI와 빅데이터에 대해 더 알아보세요. 이 행사는 Intelligent Automation Conference, BlockX, Digital Transformation Week, Cyber Security & Cloud Expo와 공동 개최.

TechForge가 주최하는 다가오는 기업 기술 이벤트 및 웨비나를 여기에서 탐색.