美团发布LongCat-Next人工智能模型,采用统一的视觉与语音架构

4月3日,MiTi团队正式发布了原生多模态大模型LongCat-Next。该模型突破了传统的“语言基础模型加插件”模式,将图像、音频和文本转换为统一的离散令牌流。这使得AI能够原生地“看见”和“听见”物理世界,并像处理文本一样处理这些输入。
技术核心:DiNA架构实现“模态内化”
为消除不同数据类型之间的壁垒,MiTi开发了DiNA(离散原生自回归)架构,实现了多模态建模的深度统一:
完整的模态统一:该模型对文本、图像和音频使用相同的参数、注意力机制和损失函数。
理解与生成对称性:在单一数学框架内,预测下一个文本令牌即为“理解”,而预测图像令牌即为“生成”。这两个过程在训练中展现出显著的协同效应。
极致压缩:借助 dNaViT 视觉分词器,该模型可处理任意分辨率的输入。通过 8 层残差向量量化过程,在像素空间中实现高达 28 倍的压缩率,同时保留了 OCR 和金融文档分析等任务所需的关键细节。
实证性能:离散建模不存在固有局限
LongCat-Next 在多个基准测试中表现优于专用模型,有力地挑战了“离散化必然导致信息丢失”这一传统观念:
精细感知:在密集文本场景的 OmniDocBench 测试中,其表现不仅优于 Qwen3-Omni,甚至超越了专用视觉模型 Qwen3-VL。
视觉推理:在 MathVista 测试中取得 83.1 分的高分,展现出稳健的工业级逻辑推理能力。
跨模态协作:在保持领先的语言能力(C-Eval 86.80)的同时,支持文本与语音的低延迟并行生成,并具备可定制的语音克隆功能。
行业洞见:物理世界AI的基石
大型语言模型长期以来一直以文本为中心。LongCat-Next的突破性在于,它证明了物理世界信息可以像语言一样被离散化和建模。当人工智能拥有统一的“母语”时,它在使用工具、编写代码或解读复杂图表时将变得更加智能和直观。
MiTi现已开源LongCat-Next模型及dNaViT分词器。这一高效且潜力巨大的原生离散架构,为开发者提供了构建能够感知并交互于现实世界的AI所必需的工具。
相关文章
谷歌推出“Dreambeans”——其迄今为止最奇特的人工智能工具,可将你的生活变成卡通片
负责实验性产品设计的部门 Google Labs 发布了一款面向 iOS 和 Android 平台的新型人工智能应用,它能让你的日常生活焕发活力。向大家介绍 Dreambeans。关于这个名字的由来,稍后将进行说明。这款工具究竟是什么?该应用的产品负责人戈兹德·奥兹努尔(Gozde Oznur)向TechCrunch解释道,其核心理念是整合用户在各类谷歌服务中的数据,从而生成一套由人工智能生成的个
《超人》对大学教育的批判引发了关于在人工智能时代重新定义成长与职业的讨论
在人工智能飞速发展的时代,传统教育和职业规划正面临前所未有的挑战。OpenAI首席执行官萨姆·阿尔特曼(Sam Altman)近日在“Internapalooza”科技实习生活动上发表了一场发人深省的演讲,他认为在当今世界,四年制大学学位已经过时,而两年制高等教育则“恰到好处”。 这一观点重新点燃了关于人工智能时代传统高等教育真正价值的争论。回顾自己的经历,奥特曼提到,他在斯坦福大学就读两年后辍学
携程商务旅行推出人工智能生态系统,涵盖7家行业服务商和17项核心功能
携程商务旅行正式推出“携程商务旅行AI生态系统”,利用大型语言模型从根本上重构企业差旅管理。 这一综合性生态系统涵盖四大核心场景:差旅安排、差旅管理、采购及能力共享。该生态系统推出了七个专业AI助手,分别负责差旅问答、行程预订、审批、数据洞察、合规风险控制、财务结算及资源采购,标志着行业正从数字化管理向自动化、AI助手驱动的时代转型。从战略层面看,携程商务旅行业务采取开放的“打破壁垒”策略,通过开
相关专题推荐
评论 (2)
0/500
美团这个LongCat-Next有点东西,直接把图音文打包成统一离散流,省了插件的麻烦。虽然还没实测,但这种端到端的架构要是真能跑通,对多模态应用算是个突破。期待看看实际推理速度和成本能不能打,别又是PPT技术就行😂
Interesting approach! Unifying vision and speech into a single stream sounds like a step towards more 'native' multimodal understanding, unlike just bolting on separate modules. Makes me wonder how this affects real-time processing efficiency for delivery robots or AR navigation apps. Could be a game-changer for Meituan's on-demand services if it works smoothly in the wild. 🧐

4月3日,MiTi团队正式发布了原生多模态大模型LongCat-Next。该模型突破了传统的“语言基础模型加插件”模式,将图像、音频和文本转换为统一的离散令牌流。这使得AI能够原生地“看见”和“听见”物理世界,并像处理文本一样处理这些输入。
技术核心:DiNA架构实现“模态内化”
为消除不同数据类型之间的壁垒,MiTi开发了DiNA(离散原生自回归)架构,实现了多模态建模的深度统一:
完整的模态统一:该模型对文本、图像和音频使用相同的参数、注意力机制和损失函数。
理解与生成对称性:在单一数学框架内,预测下一个文本令牌即为“理解”,而预测图像令牌即为“生成”。这两个过程在训练中展现出显著的协同效应。
极致压缩:借助 dNaViT 视觉分词器,该模型可处理任意分辨率的输入。通过 8 层残差向量量化过程,在像素空间中实现高达 28 倍的压缩率,同时保留了 OCR 和金融文档分析等任务所需的关键细节。
实证性能:离散建模不存在固有局限
LongCat-Next 在多个基准测试中表现优于专用模型,有力地挑战了“离散化必然导致信息丢失”这一传统观念:
精细感知:在密集文本场景的 OmniDocBench 测试中,其表现不仅优于 Qwen3-Omni,甚至超越了专用视觉模型 Qwen3-VL。
视觉推理:在 MathVista 测试中取得 83.1 分的高分,展现出稳健的工业级逻辑推理能力。
跨模态协作:在保持领先的语言能力(C-Eval 86.80)的同时,支持文本与语音的低延迟并行生成,并具备可定制的语音克隆功能。
行业洞见:物理世界AI的基石
大型语言模型长期以来一直以文本为中心。LongCat-Next的突破性在于,它证明了物理世界信息可以像语言一样被离散化和建模。当人工智能拥有统一的“母语”时,它在使用工具、编写代码或解读复杂图表时将变得更加智能和直观。
MiTi现已开源LongCat-Next模型及dNaViT分词器。这一高效且潜力巨大的原生离散架构,为开发者提供了构建能够感知并交互于现实世界的AI所必需的工具。
谷歌推出“Dreambeans”——其迄今为止最奇特的人工智能工具,可将你的生活变成卡通片
负责实验性产品设计的部门 Google Labs 发布了一款面向 iOS 和 Android 平台的新型人工智能应用,它能让你的日常生活焕发活力。向大家介绍 Dreambeans。关于这个名字的由来,稍后将进行说明。这款工具究竟是什么?该应用的产品负责人戈兹德·奥兹努尔(Gozde Oznur)向TechCrunch解释道,其核心理念是整合用户在各类谷歌服务中的数据,从而生成一套由人工智能生成的个
《超人》对大学教育的批判引发了关于在人工智能时代重新定义成长与职业的讨论
在人工智能飞速发展的时代,传统教育和职业规划正面临前所未有的挑战。OpenAI首席执行官萨姆·阿尔特曼(Sam Altman)近日在“Internapalooza”科技实习生活动上发表了一场发人深省的演讲,他认为在当今世界,四年制大学学位已经过时,而两年制高等教育则“恰到好处”。 这一观点重新点燃了关于人工智能时代传统高等教育真正价值的争论。回顾自己的经历,奥特曼提到,他在斯坦福大学就读两年后辍学
携程商务旅行推出人工智能生态系统,涵盖7家行业服务商和17项核心功能
携程商务旅行正式推出“携程商务旅行AI生态系统”,利用大型语言模型从根本上重构企业差旅管理。 这一综合性生态系统涵盖四大核心场景:差旅安排、差旅管理、采购及能力共享。该生态系统推出了七个专业AI助手,分别负责差旅问答、行程预订、审批、数据洞察、合规风险控制、财务结算及资源采购,标志着行业正从数字化管理向自动化、AI助手驱动的时代转型。从战略层面看,携程商务旅行业务采取开放的“打破壁垒”策略,通过开
美团这个LongCat-Next有点东西,直接把图音文打包成统一离散流,省了插件的麻烦。虽然还没实测,但这种端到端的架构要是真能跑通,对多模态应用算是个突破。期待看看实际推理速度和成本能不能打,别又是PPT技术就行😂
Interesting approach! Unifying vision and speech into a single stream sounds like a step towards more 'native' multimodal understanding, unlike just bolting on separate modules. Makes me wonder how this affects real-time processing efficiency for delivery robots or AR navigation apps. Could be a game-changer for Meituan's on-demand services if it works smoothly in the wild. 🧐





首页






