엔비디아와 칭화대학교, 다중 에이전트 시뮬레이션의 한계를 뛰어넘는 ‘감마-월드(Gamma-World)’ 공개
비디오 월드 모델은 단일 에이전트 관점에서 다중 에이전트 협업 방향으로 전환되고 있습니다. 기존 모델은 일반적으로 단일 에이전트를 가정하기 때문에, 동일한 가상 세계 내에서 여러 플레이어가 상호 작용하고 서로를 관찰하는 복잡한 시나리오를 처리하는 데 한계가 있습니다. 이러한 아키텍처상의 병목 현상을 극복하기 위해 NVIDIA는 칭화대학교, 토론토 대학교, 벡터 연구소(Vector Institute)와 협력하여 새로운 다중 에이전트 월드 모델 솔루션인 ‘감마-월드(γ-World)’를 선보였습니다.
다중 에이전트 월드 모델링의 주요 과제는 시간적, 관점 간, 상호작용적 일관성이라는 세 가지 유형의 일관성을 유지하는 것입니다. Solaris와 같은 초기 연구는 두 에이전트 간의 협력을 발전시켰지만, 순열 대칭성을 깨는 정체성 인코딩과 에이전트 수에 따라 계산량이 2제곱으로 증가하는 완전 연결형 어텐션 메커니즘이라는 두 가지 중대한 결함을 드러냈으며, 이로 인해 더 많은 참여자로의 효과적인 확장이 불가능했습니다.

Gamma-World는 완전한 재설계를 통해 이러한 구조적 문제들을 해결했습니다. 연구팀은 모든 플레이어를 기하학적 심플렉스의 꼭짓점에 배치하여 그들 간의 자연스러운 등거리와 동등한 지위를 보장하는 ‘심플렉스 회전 에이전트 인코딩(Simplex Rotary Agent Encoding)’을 도입했습니다. 이 설계는 학습 가능한 매개변수가 없으며 무작위 좌표 할당을 사용하므로, 모델이 두 에이전트 데이터로 훈련한 후 아키텍처 변경 없이도 네 에이전트 시나리오를 직접 실행할 수 있어 일반화 능력에서 상당한 도약을 이뤘습니다.
계산 처리량 병목 현상을 해결하기 위해 Gamma-World는 ‘Sparse Hub Attention Mechanism’을 채택했습니다. 이 접근 방식은 기존의 쌍별 직접 통신을, 공유된 세계 상태를 압축된 중계기로 전달하는 일련의 학습 가능한 허브 토큰으로 대체하여 계산 비용을 선형 복잡도로 줄입니다. 독립적인 캐싱과 결합되어, 이 시스템은 초당 24프레임(24 FPS)의 실시간 행동 시뮬레이션을 달성합니다.
훈련을 위해 연구팀은 3단계 교사-학생 증류(teacher-student distillation) 접근법을 사용했는데, 여기서 양방향 교사 모델이 인과적 학생 모델을 안내하여 다단계 샘플링을 단 4단계로 압축합니다. 이를 통해 행동 제어 가능성을 유지하면서 자기회귀 추론 중 오류 누적을 크게 줄일 수 있습니다.
실험 결과에 따르면, 메모리 및 건설을 포함한 멀티플레이어 마인크래프트 가상 환경의 5가지 핵심 시나리오 전반에 걸쳐 Gamma-World는 기존의 최첨단 모델보다 우수한 성능을 보였으며, 영상 품질을 나타내는 FVD 지표에서 평균 40% 이상의 감소를 달성했습니다. 또한 이 프레임워크는 실제 양팔 로봇 협업 작업에도 성공적으로 적용되어, 다양한 시나리오에 걸친 적용 가능성을 입증했습니다. 이러한 발전은 다중 에이전트 시뮬레이션을 개선할 뿐만 아니라, 다중 팔 의료 협업, 공장 내 다중 로봇 스케줄링, 자율 주행과 같은 물리적 AI 영역을 위한 대규모 시뮬레이션 생성 인프라로 활용될 잠재력을 가지고 있습니다.
관련 기사
클로드포스(Claudeforce) 내부: 세일즈포스 데이터와 클로드 AI의 통합
세일즈포스와 앤트로픽은 ‘클로드포스(Claudeforce)’를 출시하며 전략적 제휴를 강화했으며, 이를 통해 기업 간 연결성과 플랫폼 참여도가 향상될 전망이다. 출처: JasonDoiy/Getty Images세일즈포스와 앤트로픽은 전략적 파트너십을 확대하며, 섀넌 매튜스는 안전한 기업 간 연결을 통해 플랫폼 참여도가 어떻게 향상되는지 설명합니다세일즈포스와
그 불쾌한 AI 생성 메뉴 뒤에 숨겨진 동일성 문제
처음에는 당신의 정신 상태에 의문을 품을지도 모릅니다. 카페에 들어가 메뉴를 스캔하지만, 모든 이미지가 부자연스럽게 완벽해 보입니다—대칭이 완벽하고 지나치게 매끄러워—무언가 잘못된 것에 대한 본능적인 느낌을 유발합니다. 당신은 착각하지 않습니다. 당신의 직관이 맞습니다. 생성형 AI 시각물이 레스토랑 산업에 침투했으며, 이는 ‘매력적인’ 미학에 편중되어 훈련된 모델에 의해 주도되며, 즉시 이유를 설명할 수 없더라도 본질적으로 잘못된 느낌을 줍니
IBM 보고서: AI 기반 침해 사고는 전체 사고의 25%를 차지하며, 개별 손실액은 평균보다 20% 높음
IBM과 포넌 연구소(Ponemon Institute)의 새로운 연구는 우려스러운 변화를 강조합니다: AI 기반 공격은 이제 모든 악의적인 데이터 유출의 25%를 차지하며, 전년 대비 56% 급증했습니다. 이러한 사건들은 평균 600만 달러의 손실을 초래하며, 일반적인 데이터 유출의 평균 비용보다 20% 이상 높습니다.공격자들은 점점 더 높은 영향력의 표적에 집중하고 있습니다. AI 기반 사이버 공격의 62%가 핵심 인프라를 목표로 하며, 금
관련 특별 주제 추천
의견 (0)
0/500
비디오 월드 모델은 단일 에이전트 관점에서 다중 에이전트 협업 방향으로 전환되고 있습니다. 기존 모델은 일반적으로 단일 에이전트를 가정하기 때문에, 동일한 가상 세계 내에서 여러 플레이어가 상호 작용하고 서로를 관찰하는 복잡한 시나리오를 처리하는 데 한계가 있습니다. 이러한 아키텍처상의 병목 현상을 극복하기 위해 NVIDIA는 칭화대학교, 토론토 대학교, 벡터 연구소(Vector Institute)와 협력하여 새로운 다중 에이전트 월드 모델 솔루션인 ‘감마-월드(γ-World)’를 선보였습니다.
다중 에이전트 월드 모델링의 주요 과제는 시간적, 관점 간, 상호작용적 일관성이라는 세 가지 유형의 일관성을 유지하는 것입니다. Solaris와 같은 초기 연구는 두 에이전트 간의 협력을 발전시켰지만, 순열 대칭성을 깨는 정체성 인코딩과 에이전트 수에 따라 계산량이 2제곱으로 증가하는 완전 연결형 어텐션 메커니즘이라는 두 가지 중대한 결함을 드러냈으며, 이로 인해 더 많은 참여자로의 효과적인 확장이 불가능했습니다.

Gamma-World는 완전한 재설계를 통해 이러한 구조적 문제들을 해결했습니다. 연구팀은 모든 플레이어를 기하학적 심플렉스의 꼭짓점에 배치하여 그들 간의 자연스러운 등거리와 동등한 지위를 보장하는 ‘심플렉스 회전 에이전트 인코딩(Simplex Rotary Agent Encoding)’을 도입했습니다. 이 설계는 학습 가능한 매개변수가 없으며 무작위 좌표 할당을 사용하므로, 모델이 두 에이전트 데이터로 훈련한 후 아키텍처 변경 없이도 네 에이전트 시나리오를 직접 실행할 수 있어 일반화 능력에서 상당한 도약을 이뤘습니다.
계산 처리량 병목 현상을 해결하기 위해 Gamma-World는 ‘Sparse Hub Attention Mechanism’을 채택했습니다. 이 접근 방식은 기존의 쌍별 직접 통신을, 공유된 세계 상태를 압축된 중계기로 전달하는 일련의 학습 가능한 허브 토큰으로 대체하여 계산 비용을 선형 복잡도로 줄입니다. 독립적인 캐싱과 결합되어, 이 시스템은 초당 24프레임(24 FPS)의 실시간 행동 시뮬레이션을 달성합니다.
훈련을 위해 연구팀은 3단계 교사-학생 증류(teacher-student distillation) 접근법을 사용했는데, 여기서 양방향 교사 모델이 인과적 학생 모델을 안내하여 다단계 샘플링을 단 4단계로 압축합니다. 이를 통해 행동 제어 가능성을 유지하면서 자기회귀 추론 중 오류 누적을 크게 줄일 수 있습니다.
실험 결과에 따르면, 메모리 및 건설을 포함한 멀티플레이어 마인크래프트 가상 환경의 5가지 핵심 시나리오 전반에 걸쳐 Gamma-World는 기존의 최첨단 모델보다 우수한 성능을 보였으며, 영상 품질을 나타내는 FVD 지표에서 평균 40% 이상의 감소를 달성했습니다. 또한 이 프레임워크는 실제 양팔 로봇 협업 작업에도 성공적으로 적용되어, 다양한 시나리오에 걸친 적용 가능성을 입증했습니다. 이러한 발전은 다중 에이전트 시뮬레이션을 개선할 뿐만 아니라, 다중 팔 의료 협업, 공장 내 다중 로봇 스케줄링, 자율 주행과 같은 물리적 AI 영역을 위한 대규모 시뮬레이션 생성 인프라로 활용될 잠재력을 가지고 있습니다.
클로드포스(Claudeforce) 내부: 세일즈포스 데이터와 클로드 AI의 통합
세일즈포스와 앤트로픽은 ‘클로드포스(Claudeforce)’를 출시하며 전략적 제휴를 강화했으며, 이를 통해 기업 간 연결성과 플랫폼 참여도가 향상될 전망이다. 출처: JasonDoiy/Getty Images세일즈포스와 앤트로픽은 전략적 파트너십을 확대하며, 섀넌 매튜스는 안전한 기업 간 연결을 통해 플랫폼 참여도가 어떻게 향상되는지 설명합니다세일즈포스와
그 불쾌한 AI 생성 메뉴 뒤에 숨겨진 동일성 문제
처음에는 당신의 정신 상태에 의문을 품을지도 모릅니다. 카페에 들어가 메뉴를 스캔하지만, 모든 이미지가 부자연스럽게 완벽해 보입니다—대칭이 완벽하고 지나치게 매끄러워—무언가 잘못된 것에 대한 본능적인 느낌을 유발합니다. 당신은 착각하지 않습니다. 당신의 직관이 맞습니다. 생성형 AI 시각물이 레스토랑 산업에 침투했으며, 이는 ‘매력적인’ 미학에 편중되어 훈련된 모델에 의해 주도되며, 즉시 이유를 설명할 수 없더라도 본질적으로 잘못된 느낌을 줍니
IBM 보고서: AI 기반 침해 사고는 전체 사고의 25%를 차지하며, 개별 손실액은 평균보다 20% 높음
IBM과 포넌 연구소(Ponemon Institute)의 새로운 연구는 우려스러운 변화를 강조합니다: AI 기반 공격은 이제 모든 악의적인 데이터 유출의 25%를 차지하며, 전년 대비 56% 급증했습니다. 이러한 사건들은 평균 600만 달러의 손실을 초래하며, 일반적인 데이터 유출의 평균 비용보다 20% 이상 높습니다.공격자들은 점점 더 높은 영향력의 표적에 집중하고 있습니다. AI 기반 사이버 공격의 62%가 핵심 인프라를 목표로 하며, 금





집






