蚂蚁集团开源了LingBot-Video,这是首个面向具身智能的视频基础模型
7月9日,蚂蚁集团开源了LingBot-Video——这是全球首个基于“专家混合”(MoE)架构、专为具身智能打造的开源视频生成基础模型。 该模型以机器人和具身智能的核心需求为中心,重新定义了视频预训练,在推理效率、物理合理性、动作理解和任务完成方面实现了系统性的提升。它为视频基础模型提供了新的开源基础,使其能够从数字内容创作迈向具身智能。
在由北京大学与字节跳动联合开发的RBench基准测试中,LingBot-Video获得0.620分,表现优于Wan2.6(0.607)、Seedance1.5Pro(0.584)和Cosmos3Super(0.581)。 RBench 作为机器人操作视频的综合评估基准,专门用于评估模型能否生成符合现实世界物理规律的机器人行为。这一结果表明,在生成机器人相关视频时,LingBot-Video 在保持动作合理性和任务执行完整性方面表现更佳。

(图注:LingBot-Video 在 RBench 上取得最佳表现)
为进一步验证 LingBot-Video 建模物理世界变化的能力,蚂蚁集团在其内部基准测试中从两个维度对其进行了评估:整体质量和具身领域。 结果表明,与五款开源模型——NVIDIA Cosmos3、Wan2.2A14B、LongCat-Video、Hunyuan Video1.5 和 LTX-2.3——相比,LingBot-Video 在具身领域中表现优于主要基线模型。

(图注:综合评估表明,LingBot-Video在具身场景中展现出更强的物理理解能力和动作一致性)
近年来,视频生成模型在视觉质量、流畅度及创意表达方面取得了快速进步。然而,对于具身智能而言,一段看起来逼真且动作流畅的视频可能并不符合真实的物理定律,这使得它难以支持机器人的连续预测、规划和任务执行。 与此同时,具身智能还要求更高的推理效率,以适应实时交互和控制循环。
这促使视频生成沿着两条截然不同的路径发展:一条面向影视领域,服务于内容创作;另一条面向机器人领域,服务于对物理世界的理解、预测及交互。LingBot-Video 代表了蚂蚁集团在为具身智能量身定制的视频生成新路径上的重要探索。
LingBot-Video 在架构、数据和训练方面进行了系统性创新。
在架构上,LingBot-Video 采用了 DiT + MoE 设计,用 MoE 取代了传统的密集架构。这使得模型在保持可控推理成本的同时,能够扩展容量。 该模型拥有300亿个参数,但在生成过程中仅激活约30亿个,其推理效率约为同等规模密集架构的三倍。这种设计使模型既能借助大规模参数获得视觉表现力,又能更好地满足具身智能的效率需求。
在数据方面,LingBot-Video构建了一个数据剖析引擎,在海量互联网视频的基础上整合了VLA、VLN和Ego等机器人相关数据,涵盖了灵巧操作、机器人移动和第一人称交互等场景,共积累了70,000小时的具身数据。 这些数据有助于模型学习动作与环境变化之间的关系,而非仅仅学习视频的表面纹理和视觉风格。

在训练过程中,LingBot-Video引入了多维度强化学习奖励机制。除了美学、提示遵循和动作一致性等传统指标外,该模型还兼顾了物理合理性和任务完成度,使生成的结果更符合现实世界的物理规律,更贴近机器人在现实世界中执行任务的需求。
相关文章
OpenAI 将支持全双工语音和中断处理功能的 GPT-Live-1 添加至 API,以满足客户服务通话需求
OpenAI 已将 GPT-Live-1 集成到其 API 中,使开发者能够创建支持实时语音交互的应用程序和业务工作流。该模型支持全双工对话,能够同时进行聆听和说话,并能有效处理打断、停顿和背景噪音。GPT-Live-1 还针对电话场景(如餐厅预订和客户支持)进行了优化,可实现全双工语音客服。OpenAI 指出,开发者可将其与 Codex 等工具集成,或利用 OpenAI Presence 构建语
Cloudflare 推出开源 AI 代理工作区,让员工无需编写代码即可构建自定义工作流
Cloudflare 已正式发布 Cloudflare OS,这是一个直接在浏览器中运行的开源 AI 代理工作区。该平台集成了大量可自定义、可共享的微应用。 Cloudflare OS 绝非仅仅是对通用 AI 工具的简单封装,而是由 Cloudflare 内部团队从零开始构建,旨在满足具体的运营需求。 经过广泛的内部测试,该平台现已开源,供企业采用。Cloudflare 联合创始人兼首席执行官马修
马斯克的人工智能信用卡结账功能引发争议,此前OpenAI高管对此进行了嘲讽
埃隆·马斯克最近在社交媒体上公布了 Grok 的新购物功能,解释说用户可以拍摄信用卡照片并将其发送到聊天界面。然后,人工智能将 scour 网络以寻找最佳价格,并代表用户完成购买。这种大胆、无缝的方法在科技界引发了激烈的争论。竞争对手迅速提出了安全担忧。OpenAI 的高级执行官 Tibo 发布了一篇讽刺帖子,其中包含一张假信用卡图片,强调了将敏感支付数据直接传输到人工智能模型的严重隐私和安全风险。实施障碍也随之出现,据报道,包括亚马逊在内的大型零售商正在部署技术障碍以阻止 Grok 的自动
相关专题推荐
评论 (0)
0/500
7月9日,蚂蚁集团开源了LingBot-Video——这是全球首个基于“专家混合”(MoE)架构、专为具身智能打造的开源视频生成基础模型。 该模型以机器人和具身智能的核心需求为中心,重新定义了视频预训练,在推理效率、物理合理性、动作理解和任务完成方面实现了系统性的提升。它为视频基础模型提供了新的开源基础,使其能够从数字内容创作迈向具身智能。
在由北京大学与字节跳动联合开发的RBench基准测试中,LingBot-Video获得0.620分,表现优于Wan2.6(0.607)、Seedance1.5Pro(0.584)和Cosmos3Super(0.581)。 RBench 作为机器人操作视频的综合评估基准,专门用于评估模型能否生成符合现实世界物理规律的机器人行为。这一结果表明,在生成机器人相关视频时,LingBot-Video 在保持动作合理性和任务执行完整性方面表现更佳。

(图注:LingBot-Video 在 RBench 上取得最佳表现)
为进一步验证 LingBot-Video 建模物理世界变化的能力,蚂蚁集团在其内部基准测试中从两个维度对其进行了评估:整体质量和具身领域。 结果表明,与五款开源模型——NVIDIA Cosmos3、Wan2.2A14B、LongCat-Video、Hunyuan Video1.5 和 LTX-2.3——相比,LingBot-Video 在具身领域中表现优于主要基线模型。

(图注:综合评估表明,LingBot-Video在具身场景中展现出更强的物理理解能力和动作一致性)
近年来,视频生成模型在视觉质量、流畅度及创意表达方面取得了快速进步。然而,对于具身智能而言,一段看起来逼真且动作流畅的视频可能并不符合真实的物理定律,这使得它难以支持机器人的连续预测、规划和任务执行。 与此同时,具身智能还要求更高的推理效率,以适应实时交互和控制循环。
这促使视频生成沿着两条截然不同的路径发展:一条面向影视领域,服务于内容创作;另一条面向机器人领域,服务于对物理世界的理解、预测及交互。LingBot-Video 代表了蚂蚁集团在为具身智能量身定制的视频生成新路径上的重要探索。
LingBot-Video 在架构、数据和训练方面进行了系统性创新。
在架构上,LingBot-Video 采用了 DiT + MoE 设计,用 MoE 取代了传统的密集架构。这使得模型在保持可控推理成本的同时,能够扩展容量。 该模型拥有300亿个参数,但在生成过程中仅激活约30亿个,其推理效率约为同等规模密集架构的三倍。这种设计使模型既能借助大规模参数获得视觉表现力,又能更好地满足具身智能的效率需求。
在数据方面,LingBot-Video构建了一个数据剖析引擎,在海量互联网视频的基础上整合了VLA、VLN和Ego等机器人相关数据,涵盖了灵巧操作、机器人移动和第一人称交互等场景,共积累了70,000小时的具身数据。 这些数据有助于模型学习动作与环境变化之间的关系,而非仅仅学习视频的表面纹理和视觉风格。

在训练过程中,LingBot-Video引入了多维度强化学习奖励机制。除了美学、提示遵循和动作一致性等传统指标外,该模型还兼顾了物理合理性和任务完成度,使生成的结果更符合现实世界的物理规律,更贴近机器人在现实世界中执行任务的需求。
OpenAI 将支持全双工语音和中断处理功能的 GPT-Live-1 添加至 API,以满足客户服务通话需求
OpenAI 已将 GPT-Live-1 集成到其 API 中,使开发者能够创建支持实时语音交互的应用程序和业务工作流。该模型支持全双工对话,能够同时进行聆听和说话,并能有效处理打断、停顿和背景噪音。GPT-Live-1 还针对电话场景(如餐厅预订和客户支持)进行了优化,可实现全双工语音客服。OpenAI 指出,开发者可将其与 Codex 等工具集成,或利用 OpenAI Presence 构建语
Cloudflare 推出开源 AI 代理工作区,让员工无需编写代码即可构建自定义工作流
Cloudflare 已正式发布 Cloudflare OS,这是一个直接在浏览器中运行的开源 AI 代理工作区。该平台集成了大量可自定义、可共享的微应用。 Cloudflare OS 绝非仅仅是对通用 AI 工具的简单封装,而是由 Cloudflare 内部团队从零开始构建,旨在满足具体的运营需求。 经过广泛的内部测试,该平台现已开源,供企业采用。Cloudflare 联合创始人兼首席执行官马修
马斯克的人工智能信用卡结账功能引发争议,此前OpenAI高管对此进行了嘲讽
埃隆·马斯克最近在社交媒体上公布了 Grok 的新购物功能,解释说用户可以拍摄信用卡照片并将其发送到聊天界面。然后,人工智能将 scour 网络以寻找最佳价格,并代表用户完成购买。这种大胆、无缝的方法在科技界引发了激烈的争论。竞争对手迅速提出了安全担忧。OpenAI 的高级执行官 Tibo 发布了一篇讽刺帖子,其中包含一张假信用卡图片,强调了将敏感支付数据直接传输到人工智能模型的严重隐私和安全风险。实施障碍也随之出现,据报道,包括亚马逊在内的大型零售商正在部署技术障碍以阻止 Grok 的自动





首页






