英伟达与清华大学联合推出“Gamma-World”,突破多智能体模拟的极限
视频世界模型正从单智能体视角向多智能体协作转变。传统模型通常假设仅存在一个智能体,这限制了其处理复杂场景的能力——在这些场景中,多个参与者在同一个虚拟世界中相互作用并观察彼此。 为克服这一架构瓶颈,英伟达(NVIDIA)与清华大学、多伦多大学及Vector研究所合作,推出了名为Gamma-World(γ-World)的全新多智能体世界建模解决方案。
多智能体世界建模的主要挑战在于保持三种一致性:时间一致性、跨视角一致性和交互一致性。 此前诸如 Solaris 等研究虽然推进了双智能体协作,但暴露出两个关键缺陷:身份编码破坏了置换对称性;全连接注意力机制会导致计算量随智能体数量呈二次增长,从而阻碍了向更多参与者进行有效扩展。

Gamma-World 通过彻底重新设计解决了这些结构性问题。研究团队引入了“单纯形旋转代理编码”(Simplex Rotary Agent Encoding),将所有参与者定位在几何单纯形的顶点上,确保它们之间保持自然的等距关系和平等地位。 该设计不包含可学习参数,并采用随机坐标分配,使模型能够基于双代理数据进行训练,并在无需任何架构更改的情况下直接执行四代理场景——这是泛化能力上的重大飞跃。
为解决计算吞吐量瓶颈,Gamma-World 采用了“稀疏枢纽注意力机制”。该方法用一组可学习的枢纽令牌取代了传统的成对直接通信,这些令牌作为共享世界状态的压缩中继,将计算成本降低至线性复杂度。 结合独立缓存机制,该系统实现了每秒 24 帧(24 FPS)的实时动作模拟。
在训练过程中,研究团队采用三阶段“师-生”蒸馏方法:双向“师”模型引导因果“生”模型,将多步采样压缩为仅四步。这在保持动作可控性的同时,显著减少了自回归推理过程中的误差累积。
实验结果表明,在《我的世界》多玩家虚拟环境中的五个核心场景(包括记忆和建造)中,Gamma-World 表现优于现有的最先进模型,视频质量指标 FVD 的平均降幅超过 40%。 该框架还成功应用于真实的双臂机器人协作任务,证实了其跨场景适用性。这一进展不仅提升了多智能体模拟的性能,还有潜力成为物理人工智能领域(如多臂医疗协作、工厂多机器人调度以及自动驾驶)的大规模模拟生成基础设施。
相关文章
深入了解 Claudeforce:将 Salesforce 数据与 Claude AI 融合
Salesforce 与 Anthropic 通过推出 Claudeforce 进一步深化了战略联盟,此举将增强企业互联性和平台参与度。图片来源:JasonDoiy/Getty ImagesSalesforce 与 Anthropic 扩大战略合作伙伴关系,Shannon Mathews 阐述了如何通过安全的企业连接提升平台参与度Salesforce 与 Anthropic 在双方扩展的合作关系中
那些令人毫无食欲的AI生成菜单背后的同质化问题
起初,你可能会怀疑自己的理智。你走进一家咖啡馆,浏览一份摆满贝果三明治的菜单,却发现每张图片都完美得令人不安——对称得无可挑剔,质感过于光滑——这触发了你本能的感觉:有什么地方不对劲。你并非在胡思乱想;你的直觉是正确的。生成式人工智能图像已经渗透进餐饮业,这些图像由训练有素的模型生成,其美学风格狭窄且“讨喜”,即使你无法立即解释原因,也会让人觉得 inherently(本质上)是错误的。有时,这些图像明显是伪造的,比如一个芝士气泡丰富、融化得如同前卫艺术而非食物的墨西哥卷饼。更多时候,它们看起来
IBM报告:AI驱动的攻击事件占所有事件的25%,且单次损失高于平均水平20%
IBM与Ponemon Institute的最新研究揭示了一个令人不安的转变:由人工智能驱动的恶意数据泄露事件现已占所有恶意数据泄露事件的25%,同比激增56%。这些事件造成的平均损失为600万美元,比一般数据泄露的典型成本高出20%。攻击者正日益将目标集中在高影响力领域。62%的人工智能驱动网络攻击针对关键基础设施,其中金融服务和能源行业面临的风险最高。这种集中性威胁可能引发经济、供应链和基本公共服务的连锁故障。经济失衡十分明显:攻击成本正在下降,而防御费用却在上升IBM安全软件副总裁S
相关专题推荐
评论 (0)
0/500
视频世界模型正从单智能体视角向多智能体协作转变。传统模型通常假设仅存在一个智能体,这限制了其处理复杂场景的能力——在这些场景中,多个参与者在同一个虚拟世界中相互作用并观察彼此。 为克服这一架构瓶颈,英伟达(NVIDIA)与清华大学、多伦多大学及Vector研究所合作,推出了名为Gamma-World(γ-World)的全新多智能体世界建模解决方案。
多智能体世界建模的主要挑战在于保持三种一致性:时间一致性、跨视角一致性和交互一致性。 此前诸如 Solaris 等研究虽然推进了双智能体协作,但暴露出两个关键缺陷:身份编码破坏了置换对称性;全连接注意力机制会导致计算量随智能体数量呈二次增长,从而阻碍了向更多参与者进行有效扩展。

Gamma-World 通过彻底重新设计解决了这些结构性问题。研究团队引入了“单纯形旋转代理编码”(Simplex Rotary Agent Encoding),将所有参与者定位在几何单纯形的顶点上,确保它们之间保持自然的等距关系和平等地位。 该设计不包含可学习参数,并采用随机坐标分配,使模型能够基于双代理数据进行训练,并在无需任何架构更改的情况下直接执行四代理场景——这是泛化能力上的重大飞跃。
为解决计算吞吐量瓶颈,Gamma-World 采用了“稀疏枢纽注意力机制”。该方法用一组可学习的枢纽令牌取代了传统的成对直接通信,这些令牌作为共享世界状态的压缩中继,将计算成本降低至线性复杂度。 结合独立缓存机制,该系统实现了每秒 24 帧(24 FPS)的实时动作模拟。
在训练过程中,研究团队采用三阶段“师-生”蒸馏方法:双向“师”模型引导因果“生”模型,将多步采样压缩为仅四步。这在保持动作可控性的同时,显著减少了自回归推理过程中的误差累积。
实验结果表明,在《我的世界》多玩家虚拟环境中的五个核心场景(包括记忆和建造)中,Gamma-World 表现优于现有的最先进模型,视频质量指标 FVD 的平均降幅超过 40%。 该框架还成功应用于真实的双臂机器人协作任务,证实了其跨场景适用性。这一进展不仅提升了多智能体模拟的性能,还有潜力成为物理人工智能领域(如多臂医疗协作、工厂多机器人调度以及自动驾驶)的大规模模拟生成基础设施。
深入了解 Claudeforce:将 Salesforce 数据与 Claude AI 融合
Salesforce 与 Anthropic 通过推出 Claudeforce 进一步深化了战略联盟,此举将增强企业互联性和平台参与度。图片来源:JasonDoiy/Getty ImagesSalesforce 与 Anthropic 扩大战略合作伙伴关系,Shannon Mathews 阐述了如何通过安全的企业连接提升平台参与度Salesforce 与 Anthropic 在双方扩展的合作关系中
那些令人毫无食欲的AI生成菜单背后的同质化问题
起初,你可能会怀疑自己的理智。你走进一家咖啡馆,浏览一份摆满贝果三明治的菜单,却发现每张图片都完美得令人不安——对称得无可挑剔,质感过于光滑——这触发了你本能的感觉:有什么地方不对劲。你并非在胡思乱想;你的直觉是正确的。生成式人工智能图像已经渗透进餐饮业,这些图像由训练有素的模型生成,其美学风格狭窄且“讨喜”,即使你无法立即解释原因,也会让人觉得 inherently(本质上)是错误的。有时,这些图像明显是伪造的,比如一个芝士气泡丰富、融化得如同前卫艺术而非食物的墨西哥卷饼。更多时候,它们看起来
IBM报告:AI驱动的攻击事件占所有事件的25%,且单次损失高于平均水平20%
IBM与Ponemon Institute的最新研究揭示了一个令人不安的转变:由人工智能驱动的恶意数据泄露事件现已占所有恶意数据泄露事件的25%,同比激增56%。这些事件造成的平均损失为600万美元,比一般数据泄露的典型成本高出20%。攻击者正日益将目标集中在高影响力领域。62%的人工智能驱动网络攻击针对关键基础设施,其中金融服务和能源行业面临的风险最高。这种集中性威胁可能引发经济、供应链和基本公共服务的连锁故障。经济失衡十分明显:攻击成本正在下降,而防御费用却在上升IBM安全软件副总裁S





首页






