샌드 AI, 오픈소스 비디오 생성기 MAGI-1 공개

AI 환경은 비디오 생성 기술을 중심으로 빠르게 변화하고 있으며, 이러한 혁신을 주도하고 있습니다. 수많은 모델이 최첨단 텍스트 대 비디오 및 이미지 대 비디오 기능을 약속하지만, 진정으로 뛰어난 오픈 소스 솔루션을 발견하는 것은 여전히 어렵습니다. 이 글에서는 Apache 2.0에 따라 라이선스가 부여된 Sand AI의 오픈소스 비디오 생성 모델인 MAGI-1을 살펴보고, 이 모델의 혁신적인 합성 방법론과 비디오 콘텐츠 제작을 재정의하는 역량을 살펴봅니다.

주요 포인트

MAGI-1은 아파치 2.0 라이선스에 따라 오픈소스 비디오 합성 모델로 운영됩니다.

이 모델은 세그먼트 생성 전략을 채택하여 고정 길이의 비디오 클립을 순차적으로 생성합니다.

이 모델에는 트랜스포머 기반의 가변 자동 인코더 프레임워크가 통합되어 있습니다.

MAGI-1은 확장된 시간적 관계를 관리하기 위한 혁신적인 분산 주의 시스템을 도입했습니다.

이 아키텍처는 스트리밍 및 실시간 비디오 제작을 위해 특별히 설계되었습니다.

매스드 컴퓨팅은 이 분석에 활용되는 가상 머신과 GPU 리소스를 제공합니다.

MAGI-1 데모 영상은 CAMEL AI가 후원합니다.

MAGI-1: Sand AI의 비디오 모델에 대한 종합적인 검토

최신 비디오 생성 기술 살펴보기

인공지능은 특히 급성장하는 비디오 생성 분야에서 계속해서 새로운 지평을 열고 있습니다. 많은 플랫폼이 뛰어난 성능을 자랑하지만, 진정으로 뛰어난 동영상 생성 시스템은 여전히 드뭅니다.

Google의 Video V2(VO2)가 한 가지 대안이 될 수 있지만, 독점 라이선스로 인해 로컬 설치가 불가능합니다.

MAGI-1은 공개적으로 액세스할 수 있는 고품질 비디오 합성 도구를 제공함으로써 이러한 한계를 해결합니다. 이 도구는 고급 기능을 제공하는 것 외에도 개발자와 크리에이터가 이 역동적인 분야에서 혁신할 수 있도록 지원하여 공동의 발전을 촉진합니다.

다양한 시도에도 불구하고 접근성이 뛰어난 우수한 솔루션은 여전히 찾기 어렵습니다.

MAGI-1의 세분화된 동영상 제작 방식

전체 시퀀스를 동시에 생성하는 기존의 접근 방식과 달리 MAGI-1은 독특한 방법론을 사용합니다.

이 시스템은 자동 회귀 처리를 통해 24프레임 세그먼트를 점진적으로 생성하여 전체 비디오 길이에 관계없이 원활한 전환과 일관된 메모리 사용을 보장합니다.

이 세그먼트 기반 접근 방식을 통해 여러 클립을 동시에 처리할 수 있습니다.

각 세그먼트는 후속 클립 생성 전에 순차적인 잠재 공간 개선을 거쳐 시간적 정확도를 유지하면서 스트리밍 애플리케이션을 위한 병렬 처리를 지원합니다.

Apache 2.0 라이선스에 따른 오픈 소스 솔루션인 MAGI-1은 텍스트, 이미지, 동영상 입력 변환을 지원합니다.

기술 아키텍처 개요

MAGI-1의 기반은 고급 트랜스포머 기반의 가변 자동 인코더 구성으로 이루어져 있습니다.

이 프레임워크는 시각적 데이터를 효율적으로 압축하고 재구성합니다.

트랜스포머 블록 스택은 확장된 시간적 관계를 다루는 새로운 메커니즘으로 강화된 잠재 공간으로의 비디오 압축을 용이하게 합니다.

이 모델은 확산 기법과 플로우 매칭 증류 기법을 통합하여 처리 속도와 출력 품질을 최적화합니다.

프로젝트 지원 세부 정보

매스 컴퓨팅에 대한 감사의 말

저자는 MAGI-1 평가에 필수적인 가상 머신과 GPU 리소스를 제공한 Massed Compute에 감사를 표합니다. 이 회사의 클라우드 인프라 솔루션은 접근 가능하고 경제적인 AI 개발 리소스를 가능하게 합니다.

멀티 에이전트 개발에 대한 CAMEL AI의 기여

CAMEL AI는 AI 클라우드 엔지니어링을 발전시키기 위한 노력의 일환으로 이 비디오 데모를 후원합니다. 이 오픈 소스 이니셔티브는 데이터 생성 확장 및 자동화된 작업 솔루션을 위한 멀티 에이전트 시스템을 개발합니다.

구현 가이드

시스템 요구 사항

Docker는 설치 및 종속성 관리를 간소화하는 포괄적인 문서와 함께 MAGI-1 구현을 위한 유일한 전제 조건입니다.

이 평가에서는 Docker 버전 26.1.0을 사용했습니다.

Docker 설치 프로세스

docker pull sandai/magi:latest를 실행하여 컨테이너 이미지를 검색합니다.

이 다운로드에는 상당한 시간이 소요될 수 있습니다.

GPU 가속을 사용하려면

docker run -it --gpus all --privileged --shm-size=32g --name magi --net=host --ipc=host --ulimit memlock=-1 --ulimit stack=67168636 sandai/magi:latest /bin/bash

소스 코드 획득

다음을 사용하여 리포지토리를 복제합니다:

git clone https://github.com/SandAI-org/MAGI-1.git && cd MAGI-1

실행 파라미터

4.5B 모델을 사용할 수 없기 때문에 24B 구성을 선택했습니다:

bash example/24B/run.sh

대체 명령을 사용하면 이미지에서 비디오로 변환할 수 있습니다.

라이선스 정보

비용 고려 사항

오픈 소스 프로젝트인 MAGI-1은 라이선스 비용이 발생하지 않지만, 컴퓨팅 리소스 요구 사항에 따라 적절한 하드웨어가 필요합니다.

성능 평가

장점

오픈 소스 라이선스는 커뮤니티 개발을 촉진합니다.

세분화된 처리로 효율적인 병렬 작업 가능

트랜스포머 아키텍처로 고품질 출력 보장

다양한 입력 방식 지원

제한 사항

생성 속도 최적화가 필요함

상당한 VRAM 할당 필요

기능적 성능

핵심 기능

• 비디오 변환 처리
• 이미지에서 비디오로 변환
• 텍스트-비디오 합성
• 세분화된 생성 아키텍처

애플리케이션 시나리오

이상적인 사용 사례

• 자연스러운 전환 비디오 제작
• 비디오 트랜지션 애플리케이션
• 개발 환경 비디오 합성

자주 묻는 질문

라이선스 상태

MAGI-1의 Apache 2.0 라이선스는 무제한 사용 및 수정을 허용합니다.

하드웨어 사양

테스트에는 GPU 가속을 권장하는 NVIDIA RTX A6000 하드웨어가 사용되었습니다.

포맷 호환성

이 시스템은 다양한 애플리케이션을 위한 다양한 해상도와 지속 시간을 지원합니다.

비교 분석

경쟁사 차별화

MAGI-1의 세그먼트 생성은 전체 시퀀스 대안에 비해 메모리 오버헤드를 줄여줍니다.

실용적인 구현

소셜 미디어 콘텐츠 제작, 비디오 향상, 인터랙티브 시각 시스템 등 다양한 분야에 활용될 수 있습니다.