寒武紀釋出DeepSeek-V4全系列Model Day0相容性及開源最佳化程式碼

寒武紀已完成基於 vLLM 推理框架的 DeepSeek 最新開源模型系列 DeepSeek-V4 的“Day0”整合。此次全面適配涵蓋 Flash 版本(285B 引數)與 Pro 版本(1.6T 引數),確保該模型在寒武紀硬體上釋出後即可立即穩定執行。相應的整合程式碼已在 GitHub 上正式開源。
針對 DeepSeek-V4 獨特的稀疏注意力機制和壓縮架構,寒武紀利用其自研的向量融合庫 Torch-MLU-Ops 加速了 Compressor 等核心元件。透過採用高效能的 BangC 語言,團隊針對稀疏注意力(Sparse Attention)和 GroupGemm 等關鍵操作開發了最佳化核心。該方案在 vLLM 框架內全面支援五維混合並行(TP/PP/SP/DP/EP)、低精度量化以及 PD 分離,在嚴格滿足延遲約束的同時,顯著提升了 Token 吞吐量。
在硬體層面,寒武紀利用 MLU 的記憶體訪問和排序加速能力,以管理 DeepSeek-V4 複雜的索引結構。藉助高互聯頻寬和低延遲通訊,該方法最大限度地減少了 Prefill(預填充)和 Decode(解碼)階段的開銷,從而最大化推理效率。
行業專家指出,DeepSeek-V4 的百萬 Token 上下文視窗和頂尖的邏輯推理能力對底層計算架構提出了嚴峻挑戰。寒武紀快速的 Day0 適配凸顯了國產計算平臺在支援超大規模複雜模型方面的實力,標誌著國內 AI 生態已達到軟硬體協同的成熟水平,為大規模大模型的廣泛應用提供了堅實基礎。
相關文章
法國初創公司ZML推出免費工具,加速跨多晶片的AI推理
Nvidia 不受制約的市場主導地位時代可能正在走向終結,然而競爭對手和替代方案正從各個角度湧現。由圖靈獎得主楊立昆(Yann LeCun)支援的法國知名 AI 初創公司 ZML,推出了一款推理效能軟體,使各種開源大語言模型能夠在包括 Nvidia、AMD、Google TPUs、Apple Metal 和 Intel Arc 在內的多種硬體上執行。據 ZML 創始人 Steeve Morin 介紹,透過其新推出的 LLM 推理伺服器 ZML/LLMD,該公司旨在打破現有的壁壘,並最大化不同
Google Gemini 4 Argon 超越 Open AI,或將在程式碼提交中取代程式設計師
海外科技圈對谷歌的最新突破反響熱烈:Gemini 4 Argon,一款面向多個平臺部分 Pro 使用者逐步推出的下一代 AI 模型。該模型已全面融入 Google Cloud 生態系統,作為全新 Antigravity 編碼工具的預設引擎,甚至可以直接將程式碼推送至生產環境倉庫。自主智慧體重新定義軟體開發與僅提供程式碼片段建議的傳統 AI 助手不同,Gemini 4 Argon 作為一個高階自主智慧體執行,積極參與複雜的程式設計任務,其工作方式類似於專職團隊成員。谷歌還推出了 Concierge,這是一種
Anthropic 推出備受爭議的內容生成器 Opus 4.6
Anthropic 針對 Claude 制定的通用使用標準,禁止該模型生成色情內容,包括描繪或要求性交或性行為、生成與性癖好或性幻想相關的內容,或進行色情聊天。 然而,這並未阻止 Anthropic 今年稍早推出的模型「Claude Opus 4.6」,輕易地參與其安全機制本應防止的色情角色扮演情境。在 TechCrunch 的測試中,Opus 4.6 甚至無需過多慫恿,便能突破對色情內容的限制。
相關專題推薦
評論 (0)
0/500

寒武紀已完成基於 vLLM 推理框架的 DeepSeek 最新開源模型系列
針對
在硬體層面,寒武紀利用 MLU 的記憶體訪問和排序加速能力,以管理
行業專家指出,DeepSeek-V4 的百萬 Token 上下文視窗和頂尖的邏輯推理能力對底層計算架構提出了嚴峻挑戰。寒武紀快速的 Day0 適配凸顯了國產計算平臺在支援超大規模複雜模型方面的實力,標誌著國內 AI 生態已達到軟硬體協同的成熟水平,為大規模大模型的廣泛應用提供了堅實基礎。
法國初創公司ZML推出免費工具,加速跨多晶片的AI推理
Nvidia 不受制約的市場主導地位時代可能正在走向終結,然而競爭對手和替代方案正從各個角度湧現。由圖靈獎得主楊立昆(Yann LeCun)支援的法國知名 AI 初創公司 ZML,推出了一款推理效能軟體,使各種開源大語言模型能夠在包括 Nvidia、AMD、Google TPUs、Apple Metal 和 Intel Arc 在內的多種硬體上執行。據 ZML 創始人 Steeve Morin 介紹,透過其新推出的 LLM 推理伺服器 ZML/LLMD,該公司旨在打破現有的壁壘,並最大化不同
Google Gemini 4 Argon 超越 Open AI,或將在程式碼提交中取代程式設計師
海外科技圈對谷歌的最新突破反響熱烈:Gemini 4 Argon,一款面向多個平臺部分 Pro 使用者逐步推出的下一代 AI 模型。該模型已全面融入 Google Cloud 生態系統,作為全新 Antigravity 編碼工具的預設引擎,甚至可以直接將程式碼推送至生產環境倉庫。自主智慧體重新定義軟體開發與僅提供程式碼片段建議的傳統 AI 助手不同,Gemini 4 Argon 作為一個高階自主智慧體執行,積極參與複雜的程式設計任務,其工作方式類似於專職團隊成員。谷歌還推出了 Concierge,這是一種
Anthropic 推出備受爭議的內容生成器 Opus 4.6
Anthropic 針對 Claude 制定的通用使用標準,禁止該模型生成色情內容,包括描繪或要求性交或性行為、生成與性癖好或性幻想相關的內容,或進行色情聊天。 然而,這並未阻止 Anthropic 今年稍早推出的模型「Claude Opus 4.6」,輕易地參與其安全機制本應防止的色情角色扮演情境。在 TechCrunch 的測試中,Opus 4.6 甚至無需過多慫恿,便能突破對色情內容的限制。





首頁






