AntGroup, 신체 기반 지능을 위한 최초의 동영상 파운데이션 모델인 ‘LingBot-Video’를 오픈소스로 공개

7월 9일, 앤트 그룹은 Mixture-of-Experts(MoE) 아키텍처를 기반으로 하며 체화 지능을 위해 특별히 설계된 세계 최초의 오픈소스 영상 생성 파운데이션 모델인 ‘LingBot-Video’를 오픈소스로 공개했습니다. 이 모델은 로봇과 체화된 지능의 핵심 요구 사항을 중심으로 영상 사전 훈련을 재정의함으로써, 추론 효율성, 물리적 타당성, 행동 이해 및 과제 수행 능력에서 체계적인 향상을 제공합니다. 또한 영상 파운데이션 모델이 디지털 콘텐츠 제작을 넘어 체화된 지능 영역으로 나아갈 수 있는 새로운 오픈소스 기반을 마련합니다.

베이징대학교와 바이트댄스가 공동 개발한 RBench 벤치마크에서 LingBot-Video는 0.620점을 기록하며, Wan2.6(0.607), Seedance1.5Pro(0.584), Cosmos3Super(0.581)를 앞질렀습니다. 로봇 조작 동영상을 위한 종합 평가 벤치마크인 RBench는 모델이 실제 물리 법칙을 따르는 로봇 행동을 생성할 수 있는지 여부를 구체적으로 평가합니다. 이 결과는 LingBot-Video가 로봇 관련 동영상을 생성할 때 행동의 합리성과 과제 수행의 일관성을 더 잘 유지한다는 것을 의미합니다.

(그림 설명: LingBot-Video가 RBench에서 최고의 성능을 달성함)

물리적 세계의 변화를 모델링하는 LingBot-Video의 능력을 더욱 검증하기 위해, 앤트 그룹(Ant Group)은 일반 품질과 체화 도메인이라는 두 가지 차원에서 내부 벤치마크를 통해 이를 평가했다. 결과에 따르면, NVIDIA Cosmos3, Wan2.2A14B, LongCat-Video, Hunyuan Video1.5, LTX-2.3 등 5개의 오픈소스 모델과 비교했을 때, LingBot-Video는 체화 도메인에서 주요 기준 모델들을 능가하는 성능을 보였습니다.

(그림 설명: 종합 평가 결과, LingBot-Video는 체화 시나리오에서 더 뛰어난 물리적 이해력과 행동 일관성을 보여줍니다)

최근 몇 년간 동영상 생성 모델은 시각적 품질, 부드러움, 창의적 표현 측면에서 급속히 발전해 왔습니다. 그러나 체화 지능의 관점에서 볼 때, 사실적으로 보이고 부드럽게 움직이는 동영상이라 하더라도 실제 물리 법칙을 반영하지 않을 수 있어, 로봇의 지속적인 예측, 계획 수립 및 작업 실행을 지원하기 어렵습니다. 동시에, 체화 지능은 실시간 상호작용 및 제어 루프에 적응하기 위해 더 높은 추론 효율성을 요구합니다.

이로 인해 동영상 생성은 두 가지 뚜렷한 방향으로 진화해 왔습니다. 하나는 콘텐츠 제작을 위한 영화 분야로, 다른 하나는 물리적 세계에 대한 이해, 예측 및 상호작용을 위한 로봇 분야입니다. LingBot-Video는 신체 기반 지능에 맞춤화된 동영상 생성을 위한 새로운 길을 모색한 앤트 그룹(Ant Group)의 중요한 성과입니다.

LingBot-Video는 아키텍처, 데이터 및 훈련 측면에서 체계적인 혁신을 도입합니다.

아키텍처 측면에서 LingBot-Video는 DiT + MoE 설계를 채택하여 기존의 딥 아키텍처를 MoE로 대체했습니다. 이를 통해 모델은 추론 비용을 관리 가능한 수준으로 유지하면서 용량을 확장할 수 있습니다. 300억 개의 매개변수를 가진 이 모델은 생성 과정에서 약 30억 개만 활성화하여, 동일한 규모의 밀집 아키텍처에 비해 약 3배 높은 추론 효율을 제공합니다. 이러한 설계는 대규모 매개변수를 통해 모델에 시각적 표현력을 부여하는 동시에, 체화된 지능이 요구하는 효율성 기준을 더 잘 충족시킵니다.

데이터 측면에서 LingBot-Video는 데이터 프로파일링 엔진을 구축하여, 방대한 인터넷 동영상 위에 VLA, VLN, Ego와 같은 로봇 관련 데이터를 통합함으로써, 정교한 조작, 로봇 이동성, 1인칭 상호작용 등의 시나리오를 아우르는 총 7만 시간 분량의 체화 데이터를 확보했습니다. 이 데이터는 모델이 단순히 동영상의 표면 질감이나 시각적 스타일뿐만 아니라, 행동과 환경 변화 간의 관계를 학습하는 데 도움을 줍니다.

훈련 과정에서 LingBot-Video는 다차원 강화 학습 보상 시스템을 도입했습니다. 미적 요소, 프롬프트 준수, 동작 일관성과 같은 기존 지표 외에도, 이 모델은 물리적 타당성과 과제 완수 여부까지 고려함으로써, 생성된 결과가 실제 물리 법칙과 더 일관성을 갖도록 하고, 현실 세계에서 과제를 수행하는 로봇의 요구에 더 가깝게 만듭니다.