選項
首頁
新聞
清華大學與騰訊「混元」以 4.1 倍的 NPU 加速比,贏得 MLSys2026 教育部推論挑戰賽

清華大學與騰訊「混元」以 4.1 倍的 NPU 加速比,贏得 MLSys2026 教育部推論挑戰賽

2026-06-25
192

清華大學儲存實驗室與騰訊的 MegEngine AI 基礎設施團隊,近日在頂尖機器學習系統會議 MLSys2026 舉辦的「混合專家(MoE)模型推論優化挑戰賽」中奪得全球冠軍。

MLSys2026 MoE 挑戰賽獲獎公告的螢幕截圖

為解決在異質 NPU 晶片上運行、具備兆級參數的「專家混合」(MoE)架構所面臨的推論效能瓶頸,該聯合團隊針對官方模型與 NPU 硬體設計了一套全鏈路優化方案。 透過採用 E-Shard 策略進行專家層級的任務分割、PSUM 3D 張量批次讀出、GEMV 路徑將輸出分發至多個銀行以實現並行處理,以及使用標量引擎來降低初始資料傳輸延遲,他們成功在運算子層級解決了資料傳輸效率低落及重複的活化傳輸問題。

與此同時,團隊重新組織了注意力模組的片上資料佈局,並整合了核心 Transformer 運算子,實現了位元級的高精度對齊。

MoE 優化架構圖

圖 3:MoE 優化架構示意圖,特色包括 E-Shard 專家級分割、連續 DMA、PSUM/GEMV 並行處理、冷啟動管線以及預取控制。

此外,團隊還開發了一個名為「Knight」的基於代理的推論運算子優化器。 透過提案、程式碼實作與迭代的自動化閉環流程,該優化器大幅擴展了優化搜尋空間。結果顯示,端到端推論時間從 14.91 秒縮短至 3.56 秒,速度提升 4.1 倍; 單步解碼延遲從 12.63 毫秒降至 5.45 毫秒,且權重載入期間的 DMA 引擎利用率攀升至約 80%。

這項成就超越了史丹佛大學和麻省理工學院等全球頂尖大學的團隊,彰顯了中國團隊在將大型模型適應底層系統以及優化運算子方面的深厚專業能力。同時,它也為未來在超級節點運算平台上部署兆參數 MoE 模型提供了寶貴的工程藍圖。

相關文章
Anthropic 在一週內遭遇兩次重大資料洩露,動搖其 AI 安全宣告的可信度 Anthropic 在一週內遭遇兩次重大資料洩露,動搖其 AI 安全宣告的可信度 Anthropic,這家因強調安全與謹慎而備受認可的AI領軍企業,近期在科技領域引發轟動。繼上週意外洩露3,000份內部檔案後,該公司於本週二再次犯下重大錯誤:一次打包配置失誤導致其核心產品的“藍圖”暴露,致使超過512,000行原始碼向公眾洩露。此次事件源於人為失誤,而非外部網路攻擊。儘管Anthropic試圖透過將其定性為“釋出打包問題”來淡化嚴重性,但模型行為指令和工具限制邏輯的大範圍暴露,已引發競爭對手和安全研究人員的深入分析。漣漪效應:OpenAI在Claude Code壓力下暫停
敏捷機器人公司選擇 Nyobolt 為 Digit 5 人形機器人提供快速充電解決方案 敏捷機器人公司選擇 Nyobolt 為 Digit 5 人形機器人提供快速充電解決方案 Nyobolt 為 Digit 5 提供快速充電、持久的電池技術。來源:Agility電源管理仍然是人形機器人開發者面臨的關鍵障礙。Agility Robotics Inc. 宣佈與 Nyobolt 合作,為其 Digit 5 平臺開發快速充電電池系統。據兩家公司稱,這項創新使機器人每天能夠執行超過 20 小時。“對於我們的客戶來說,最大化 Digit 的執行時間是核心商業案例,”Agility 首席商務官 Daniel Diez 表示。“Digit 5 在 24 小時週期內提供超過 20 小時
蘋果iOS 27更新:Siri進入雙模式時代,可自由切換ChatGPT 蘋果iOS 27更新:Siri進入雙模式時代,可自由切換ChatGPT iOS 27 對 Siri 的架構進行了根本性的重構,核心是一個全新的獨立應用程式,它超越了傳統的純語音互動模式。該應用採用聊天機器人介面設計,允許使用者輸入文字提示,從而實現無縫的人工智慧對話。它支援圖片和文件上傳,保留聊天記錄,並簡化了複雜的、多步驟的任務處理。蘋果採取了開放策略,允許使用者在原生 Siri 與 ChatGPT 等第三方模型之間切換。透過長按輸入框並選擇“詢問…”,使用者可以選擇最適合其特定需求的人工智慧服務。目前該應用仍處於早期開發階段,包含一些保護措施,例如在重新開啟時重
相關專題推薦
設計與藝術 頂尖 AI 插畫工具:更快地創作編輯畫面與封面插圖
頂尖 AI 插畫工具:更快地創作編輯畫面與封面插圖

2026 年最新高評分 AI 插畫工具:我們精心挑選的清單收錄了功能強大、設計出色的工具,能助您快速創作出令人驚豔的編輯場景與吸睛的封面藝術。每項選項均經過嚴格的實際測試,並提供免費版與付費版的比較,協助您找到最適合您工作流程的工具。 立即嘗試這些不可錯過的解決方案,釋放您的人工智慧優勢,並提升您的創意生產力。現在就前往 XIX.AI 探索吧。

10 個工具
xix.ai
教育與學習 頂尖 AI 補習老師助您備考:練習數學、科學和英語
頂尖 AI 補習老師助您備考:練習數學、科學和英語

2026 年最新、評價最高的考試備考 AI 輔導工具,盡在 XIX.AI!我們精心挑選的清單收錄了多款強大且顛覆傳統的工具,提供免費與付費版本的比較、實際測試,以及每週更新的排行榜。這些工具能幫助您提升寫作效率、簡化複雜主題的學習,並釋放您的學術潛能。 立即探索,發掘最適合您的備考工具,並從今天開始創作,釋放您的 AI 優勢!

10 個工具
xix.ai
金融 用於個人財務管理的 AI 預算規劃工具
用於個人財務管理的 AI 預算規劃工具

2026 年最新最佳頂級評分 AI 預算規劃工具,專為個人財務管理打造,現已登陸 XIX.AI!本精選合集收錄了強大且具顛覆性的解決方案,助您開展實際測試、理解消費習慣,並制定個性化計劃以提升生產力。享受免費與付費版的對比及詳細排名。這些必試工具旨在簡化財務管理,助您釋放 AI 優勢。立即探索!

11 個工具
xix.ai
健康與養生 AI 睡眠追蹤助手:透過更佳的睡前習慣提升恢復效果
AI 睡眠追蹤助手:透過更佳的睡前習慣提升恢復效果

2026 年最新精選、評價最高的 AI 睡眠追蹤助手,助您獲得最佳恢復效果。這份全面更新的每週指南收錄了強大的工具,提供實際測試報告、免費與付費版本的比較,以及詳細排名,協助您找到必試的解決方案,以提升睡眠品質並培養更好的就寢習慣。 立即造訪 XIX.AI,解鎖您的 AI 優勢。

10 個工具
xix.ai
數據分析 用於產品與營收分析的 AI SQL 協作助手
用於產品與營收分析的 AI SQL 協作助手

2026 年最新最佳、評價最高的 AI SQL 輔助工具,專為產品與營收分析打造! XIX.AI 精心甄選了一系列強大且顛覆業界的必試工具,這些工具均經過實戰測試,並透過每週更新的排行榜進行評比。這些工具能透過加速資料分析、簡化複雜查詢,並產生精準洞察來推動更明智的商業決策,從而大幅提升使用者生產力。立即探索,發掘最適合您的工具,釋放您的 AI 優勢!

14 個工具
xix.ai
教育與學習 最佳的「教學型」AI 作業輔助工具:學習概念,而不僅是答案
最佳的「教學型」AI 作業輔助工具:學習概念,而不僅是答案

2026 年最新最佳高評價 AI 作業輔助工具:不僅提供答案,更教授核心概念。專為學生打造的強大工具,必試精選清單,每週更新,免費與付費版本比較,實際測試,精準排名,助您充分發揮學習潛能。立即探索,發掘最適合您的工具,讓學習更聰明。

10 個工具
xix.ai
評論 (1)
0/500
BrianMartinez
BrianMartinez 2026-07-18 14:00:14

That's a massive leap! 4.1x NPU speedup for MoE inference? I'm curious about the techniques they used. Is it better quantization or sparse attention? Either way, congrats to the team! 🎉

OR