寒武纪发布DeepSeek-V4全系列Model Day0兼容性及开源优化代码

寒武纪已完成基于 vLLM 推理框架的 DeepSeek 最新开源模型系列 DeepSeek-V4 的“Day0”集成。此次全面适配涵盖 Flash 版本(285B 参数)与 Pro 版本(1.6T 参数),确保该模型在寒武纪硬件上发布后即可立即稳定运行。相应的集成代码已在 GitHub 上正式开源。
针对 DeepSeek-V4 独特的稀疏注意力机制和压缩架构,寒武纪利用其自研的向量融合库 Torch-MLU-Ops 加速了 Compressor 等核心组件。通过采用高性能的 BangC 语言,团队针对稀疏注意力(Sparse Attention)和 GroupGemm 等关键操作开发了优化内核。该方案在 vLLM 框架内全面支持五维混合并行(TP/PP/SP/DP/EP)、低精度量化以及 PD 分离,在严格满足延迟约束的同时,显著提升了 Token 吞吐量。
在硬件层面,寒武纪利用 MLU 的内存访问和排序加速能力,以管理 DeepSeek-V4 复杂的索引结构。借助高互联带宽和低延迟通信,该方法最大限度地减少了 Prefill(预填充)和 Decode(解码)阶段的开销,从而最大化推理效率。
行业专家指出,DeepSeek-V4 的百万 Token 上下文窗口和顶尖的逻辑推理能力对底层计算架构提出了严峻挑战。寒武纪快速的 Day0 适配凸显了国产计算平台在支持超大规模复杂模型方面的实力,标志着国内 AI 生态已达到软硬件协同的成熟水平,为大规模大模型的广泛应用提供了坚实基础。
相关文章
Google Gemini 4 Argon 超越 Open AI,或将在代码提交中取代程序员
海外科技圈对谷歌的最新突破反响热烈:Gemini 4 Argon,一款面向多个平台部分 Pro 用户逐步推出的下一代 AI 模型。该模型已全面融入 Google Cloud 生态系统,作为全新 Antigravity 编码工具的默认引擎,甚至可以直接将代码推送至生产环境仓库。自主智能体重新定义软件开发与仅提供代码片段建议的传统 AI 助手不同,Gemini 4 Argon 作为一个高级自主智能体运行,积极参与复杂的编程任务,其工作方式类似于专职团队成员。谷歌还推出了 Concierge,这是一种
Anthropic 发布了备受争议的内容生成器 Opus 4.6
Anthropic针对Claude制定的通用使用标准禁止该模型生成色情内容,包括描述或要求进行性交或性行为、生成与性癖好或性幻想相关的内容,以及进行色情聊天。 然而,这并未阻止Anthropic今年早些时候发布的模型Claude Opus 4.6轻易参与其安全防护机制本应阻止的色情角色扮演场景。在 TechCrunch 的测试中,Opus 4.6 甚至无需过多怂恿就能突破对色情内容的限制。在 10
马斯克表示,Grok AI 代理将在三天内进入大规模公开测试阶段
埃隆·马斯克已在 X 平台上正式回应用户关于 Grok Computer 的询问,确认该产品的私有测试版现已面向部分用户开放。他进一步宣布,更广泛的测试版将于三天后发布,标志着该智能体即将进入公开测试阶段。核心亮点:从聊天框到“控制电脑”Grok Computer 被定位为 xAI 的旗舰生产力工具。其核心区别在于:自主智能体: 超越传统的问答模式,它通过指令执行复杂的计算机操作——业内知情人士戏称这是“埃隆·马斯克的自动驾驶办公系统”。性能提升: 马斯克此前指出,Grok 正在迅速缩小
相关专题推荐
评论 (0)
0/500

寒武纪已完成基于 vLLM 推理框架的 DeepSeek 最新开源模型系列
针对
在硬件层面,寒武纪利用 MLU 的内存访问和排序加速能力,以管理
行业专家指出,DeepSeek-V4 的百万 Token 上下文窗口和顶尖的逻辑推理能力对底层计算架构提出了严峻挑战。寒武纪快速的 Day0 适配凸显了国产计算平台在支持超大规模复杂模型方面的实力,标志着国内 AI 生态已达到软硬件协同的成熟水平,为大规模大模型的广泛应用提供了坚实基础。
Google Gemini 4 Argon 超越 Open AI,或将在代码提交中取代程序员
海外科技圈对谷歌的最新突破反响热烈:Gemini 4 Argon,一款面向多个平台部分 Pro 用户逐步推出的下一代 AI 模型。该模型已全面融入 Google Cloud 生态系统,作为全新 Antigravity 编码工具的默认引擎,甚至可以直接将代码推送至生产环境仓库。自主智能体重新定义软件开发与仅提供代码片段建议的传统 AI 助手不同,Gemini 4 Argon 作为一个高级自主智能体运行,积极参与复杂的编程任务,其工作方式类似于专职团队成员。谷歌还推出了 Concierge,这是一种
Anthropic 发布了备受争议的内容生成器 Opus 4.6
Anthropic针对Claude制定的通用使用标准禁止该模型生成色情内容,包括描述或要求进行性交或性行为、生成与性癖好或性幻想相关的内容,以及进行色情聊天。 然而,这并未阻止Anthropic今年早些时候发布的模型Claude Opus 4.6轻易参与其安全防护机制本应阻止的色情角色扮演场景。在 TechCrunch 的测试中,Opus 4.6 甚至无需过多怂恿就能突破对色情内容的限制。在 10
马斯克表示,Grok AI 代理将在三天内进入大规模公开测试阶段
埃隆·马斯克已在 X 平台上正式回应用户关于 Grok Computer 的询问,确认该产品的私有测试版现已面向部分用户开放。他进一步宣布,更广泛的测试版将于三天后发布,标志着该智能体即将进入公开测试阶段。核心亮点:从聊天框到“控制电脑”Grok Computer 被定位为 xAI 的旗舰生产力工具。其核心区别在于:自主智能体: 超越传统的问答模式,它通过指令执行复杂的计算机操作——业内知情人士戏称这是“埃隆·马斯克的自动驾驶办公系统”。性能提升: 马斯克此前指出,Grok 正在迅速缩小





首页






