Alibaba Công Bố Wan2.1-VACE: Giải Pháp Video AI Mã Nguồn Mở

Alibaba đã giới thiệu Wan2.1-VACE, một mô hình AI mã nguồn mở được thiết kế để thay đổi quy trình tạo và chỉnh sửa video.

VACE là thành phần cốt lõi của gia đình mô hình video AI Wan2.1 của Alibaba, với công ty tuyên bố đây là “mô hình mã nguồn mở đầu tiên trong ngành cung cấp giải pháp toàn diện cho các nhiệm vụ tạo và chỉnh sửa video đa dạng.”

Nếu Alibaba có thể đơn giản hóa quy trình sản xuất video, tích hợp nhiều công cụ vào một nền tảng duy nhất, điều này có thể tái định nghĩa các tiêu chuẩn ngành.

VACE có thể làm gì? Nó tạo ra video từ nhiều nguồn đầu vào khác nhau, như gợi ý văn bản, hình ảnh tĩnh hoặc đoạn video ngắn.

Ngoài việc tạo video, khả năng chỉnh sửa của nó bao gồm sử dụng hình ảnh hoặc khung hình tham chiếu để hướng dẫn AI, các tính năng “tô lại video” tiên tiến, sửa đổi các phần cụ thể của video và kéo dài thời lượng video. Alibaba cho biết các công cụ này “trao quyền cho người dùng kết hợp các nhiệm vụ một cách linh hoạt, nâng cao tiềm năng sáng tạo.”

Hãy tưởng tượng việc tạo một video với các nhân vật cụ thể dựa trên ảnh bạn cung cấp. VACE được cho là có thể thực hiện điều đó. Có một hình ảnh tĩnh mà bạn muốn làm động? Mô hình AI mã nguồn mở này có thể thêm chuyển động sống động vào đó.

Để chỉnh sửa chính xác, VACE cung cấp các công cụ “tô lại video”, cho phép chuyển đổi tư thế giữa các chủ thể, kiểm soát chuyển động chi tiết, điều chỉnh độ sâu và sửa đổi màu sắc.

Một tính năng nổi bật là khả năng “thêm, sửa đổi hoặc xóa các khu vực cụ thể của video mà không ảnh hưởng đến môi trường xung quanh.” Đây là một bước đột phá cho việc chỉnh sửa chính xác, đảm bảo hậu cảnh không bị thay đổi. Nó cũng có thể mở rộng khung video, lấp đầy các khu vực mới bằng nội dung phù hợp với ngữ cảnh để mang lại kết quả phong phú và sống động hơn.

Với VACE, bạn có thể biến một bức ảnh tĩnh thành video, chỉ định chuyển động của đối tượng bằng cách xác định đường dẫn, hoán đổi nhân vật hoặc đối tượng bằng cách sử dụng tham chiếu, làm động các tham chiếu đó hoặc kiểm soát chính xác tư thế của chúng.

Alibaba nhấn mạnh khả năng của VACE trong việc chuyển đổi một hình ảnh cao và hẹp thành video màn hình rộng, mở rộng nó một cách thông minh bằng cách kết hợp các yếu tố bổ sung từ hình ảnh tham chiếu hoặc gợi ý.

Khả năng của VACE được cung cấp bởi công nghệ tiên tiến được thiết kế để giải quyết các phức tạp của chỉnh sửa video. Đơn vị Điều kiện Video (VCU) “cho phép xử lý thống nhất các đầu vào đa phương thức như văn bản, hình ảnh, video và mặt nạ.”

Ngoài ra, cấu trúc “Bộ điều hợp Ngữ cảnh” tích hợp “các biểu diễn chính thức của chiều thời gian và không gian,” mang lại cho AI sự hiểu biết sâu sắc về thời gian và không gian trong video.

Alibaba hình dung VACE sẽ xuất sắc trong các ứng dụng như tạo nội dung mạng xã hội, quảng cáo động, hậu kỳ chuyên nghiệp cho phim và truyền hình, và các video giáo dục hoặc đào tạo tùy chỉnh.

Alibaba Chia Sẻ Wan2.1-VACE Dưới Dạng Mã Nguồn Mở để Trao Quyền cho Nhà Sáng Tạo

Việc phát triển các mô hình AI tiên tiến thường đòi hỏi nguồn lực đáng kể, bao gồm sức mạnh tính toán lớn và dữ liệu. Quyết định mã nguồn mở Wan2.1-VACE của Alibaba là một bước đi quan trọng.

“Truy cập mở giảm bớt rào cản, cho phép nhiều doanh nghiệp hơn khai thác AI để tạo ra nội dung hình ảnh chất lượng cao, tùy chỉnh một cách hiệu quả và tiết kiệm chi phí,” Alibaba lưu ý.

Động thái này nhằm trao quyền cho các doanh nghiệp nhỏ hơn và các nhà sáng tạo cá nhân bằng cách cung cấp quyền truy cập vào các công cụ AI tiên tiến mà không cần chi phí cao, thúc đẩy sự đổi mới rộng rãi hơn.

Alibaba cung cấp hai phiên bản: một mô hình mạnh mẽ với 14 tỷ tham số cho các hệ thống hiệu suất cao và một mô hình nhẹ hơn với 1,3 tỷ tham số cho các thiết lập ít yêu cầu hơn. Cả hai đều có sẵn miễn phí trên Hugging Face, GitHub và cộng đồng ModelScope của Alibaba Cloud.

Xem thêm: Mỹ Siết Chặt Quy Định Về AI Diffusion, Tăng Cường Hạn Chế Xuất Khẩu Chip

Tìm hiểu thêm về AI và dữ liệu lớn từ các chuyên gia ngành tại AI & Big Data Expo ở Amsterdam, California và London. Sự kiện này được tổ chức cùng với Hội nghị Tự động hóa Thông minh, BlockX, Tuần lễ Chuyển đổi Kỹ thuật số và Triển lãm An ninh Mạng & Đám mây.

Khám phá các sự kiện và hội thảo trực tuyến về công nghệ doanh nghiệp sắp tới do TechForge tổ chức tại đây.