清華大學與騰訊「混元」以 4.1 倍的 NPU 加速比,贏得 MLSys2026 教育部推論挑戰賽
清華大學儲存實驗室與騰訊的 MegEngine AI 基礎設施團隊,近日在頂尖機器學習系統會議 MLSys2026 舉辦的「混合專家(MoE)模型推論優化挑戰賽」中奪得全球冠軍。

為解決在異質 NPU 晶片上運行、具備兆級參數的「專家混合」(MoE)架構所面臨的推論效能瓶頸,該聯合團隊針對官方模型與 NPU 硬體設計了一套全鏈路優化方案。 透過採用 E-Shard 策略進行專家層級的任務分割、PSUM 3D 張量批次讀出、GEMV 路徑將輸出分發至多個銀行以實現並行處理,以及使用標量引擎來降低初始資料傳輸延遲,他們成功在運算子層級解決了資料傳輸效率低落及重複的活化傳輸問題。
與此同時,團隊重新組織了注意力模組的片上資料佈局,並整合了核心 Transformer 運算子,實現了位元級的高精度對齊。

圖 3:MoE 優化架構示意圖,特色包括 E-Shard 專家級分割、連續 DMA、PSUM/GEMV 並行處理、冷啟動管線以及預取控制。
此外,團隊還開發了一個名為「Knight」的基於代理的推論運算子優化器。 透過提案、程式碼實作與迭代的自動化閉環流程,該優化器大幅擴展了優化搜尋空間。結果顯示,端到端推論時間從 14.91 秒縮短至 3.56 秒,速度提升 4.1 倍; 單步解碼延遲從 12.63 毫秒降至 5.45 毫秒,且權重載入期間的 DMA 引擎利用率攀升至約 80%。
這項成就超越了史丹佛大學和麻省理工學院等全球頂尖大學的團隊,彰顯了中國團隊在將大型模型適應底層系統以及優化運算子方面的深厚專業能力。同時,它也為未來在超級節點運算平台上部署兆參數 MoE 模型提供了寶貴的工程藍圖。
相關文章
Anthropic 在一週內遭遇兩次重大資料洩露,動搖其 AI 安全宣告的可信度
Anthropic,這家因強調安全與謹慎而備受認可的AI領軍企業,近期在科技領域引發轟動。繼上週意外洩露3,000份內部檔案後,該公司於本週二再次犯下重大錯誤:一次打包配置失誤導致其核心產品的“藍圖”暴露,致使超過512,000行原始碼向公眾洩露。此次事件源於人為失誤,而非外部網路攻擊。儘管Anthropic試圖透過將其定性為“釋出打包問題”來淡化嚴重性,但模型行為指令和工具限制邏輯的大範圍暴露,已引發競爭對手和安全研究人員的深入分析。漣漪效應:OpenAI在Claude Code壓力下暫停
敏捷機器人公司選擇 Nyobolt 為 Digit 5 人形機器人提供快速充電解決方案
Nyobolt 為 Digit 5 提供快速充電、持久的電池技術。來源:Agility電源管理仍然是人形機器人開發者面臨的關鍵障礙。Agility Robotics Inc. 宣佈與 Nyobolt 合作,為其 Digit 5 平臺開發快速充電電池系統。據兩家公司稱,這項創新使機器人每天能夠執行超過 20 小時。“對於我們的客戶來說,最大化 Digit 的執行時間是核心商業案例,”Agility 首席商務官 Daniel Diez 表示。“Digit 5 在 24 小時週期內提供超過 20 小時
蘋果iOS 27更新:Siri進入雙模式時代,可自由切換ChatGPT
iOS 27 對 Siri 的架構進行了根本性的重構,核心是一個全新的獨立應用程式,它超越了傳統的純語音互動模式。該應用採用聊天機器人介面設計,允許使用者輸入文字提示,從而實現無縫的人工智慧對話。它支援圖片和文件上傳,保留聊天記錄,並簡化了複雜的、多步驟的任務處理。蘋果採取了開放策略,允許使用者在原生 Siri 與 ChatGPT 等第三方模型之間切換。透過長按輸入框並選擇“詢問…”,使用者可以選擇最適合其特定需求的人工智慧服務。目前該應用仍處於早期開發階段,包含一些保護措施,例如在重新開啟時重
相關專題推薦
評論 (1)
0/500
清華大學儲存實驗室與騰訊的 MegEngine AI 基礎設施團隊,近日在頂尖機器學習系統會議 MLSys2026 舉辦的「混合專家(MoE)模型推論優化挑戰賽」中奪得全球冠軍。

為解決在異質 NPU 晶片上運行、具備兆級參數的「專家混合」(MoE)架構所面臨的推論效能瓶頸,該聯合團隊針對官方模型與 NPU 硬體設計了一套全鏈路優化方案。 透過採用 E-Shard 策略進行專家層級的任務分割、PSUM 3D 張量批次讀出、GEMV 路徑將輸出分發至多個銀行以實現並行處理,以及使用標量引擎來降低初始資料傳輸延遲,他們成功在運算子層級解決了資料傳輸效率低落及重複的活化傳輸問題。
與此同時,團隊重新組織了注意力模組的片上資料佈局,並整合了核心 Transformer 運算子,實現了位元級的高精度對齊。

圖 3:MoE 優化架構示意圖,特色包括 E-Shard 專家級分割、連續 DMA、PSUM/GEMV 並行處理、冷啟動管線以及預取控制。
此外,團隊還開發了一個名為「Knight」的基於代理的推論運算子優化器。 透過提案、程式碼實作與迭代的自動化閉環流程,該優化器大幅擴展了優化搜尋空間。結果顯示,端到端推論時間從 14.91 秒縮短至 3.56 秒,速度提升 4.1 倍; 單步解碼延遲從 12.63 毫秒降至 5.45 毫秒,且權重載入期間的 DMA 引擎利用率攀升至約 80%。
這項成就超越了史丹佛大學和麻省理工學院等全球頂尖大學的團隊,彰顯了中國團隊在將大型模型適應底層系統以及優化運算子方面的深厚專業能力。同時,它也為未來在超級節點運算平台上部署兆參數 MoE 模型提供了寶貴的工程藍圖。
Anthropic 在一週內遭遇兩次重大資料洩露,動搖其 AI 安全宣告的可信度
Anthropic,這家因強調安全與謹慎而備受認可的AI領軍企業,近期在科技領域引發轟動。繼上週意外洩露3,000份內部檔案後,該公司於本週二再次犯下重大錯誤:一次打包配置失誤導致其核心產品的“藍圖”暴露,致使超過512,000行原始碼向公眾洩露。此次事件源於人為失誤,而非外部網路攻擊。儘管Anthropic試圖透過將其定性為“釋出打包問題”來淡化嚴重性,但模型行為指令和工具限制邏輯的大範圍暴露,已引發競爭對手和安全研究人員的深入分析。漣漪效應:OpenAI在Claude Code壓力下暫停
蘋果iOS 27更新:Siri進入雙模式時代,可自由切換ChatGPT
iOS 27 對 Siri 的架構進行了根本性的重構,核心是一個全新的獨立應用程式,它超越了傳統的純語音互動模式。該應用採用聊天機器人介面設計,允許使用者輸入文字提示,從而實現無縫的人工智慧對話。它支援圖片和文件上傳,保留聊天記錄,並簡化了複雜的、多步驟的任務處理。蘋果採取了開放策略,允許使用者在原生 Siri 與 ChatGPT 等第三方模型之間切換。透過長按輸入框並選擇“詢問…”,使用者可以選擇最適合其特定需求的人工智慧服務。目前該應用仍處於早期開發階段,包含一些保護措施,例如在重新開啟時重





首頁






