選項
首頁
快訊
內容
RyanLopez
RyanLopez
2026-05-25

清華大學與騰訊聯合組成的團隊在MLSys2026的MoE模型推理最佳化挑戰賽中贏得了全球冠軍。他們為基於NPU硬體的萬億引數MoE模型開發了一套全鏈路最佳化方案,該方案採用了諸如E-Shard分割槽技術和PSUM/GEMV併發機制等創新策略。在名為Knight的自動化最佳化工具的幫助下,他們的方法將端到端的推理時間從14.91秒縮短到了3.56秒,效能提升了4.1倍。這一成果為未來在超級節點計算平臺上部署大型MoE模型提供了重要的工程範例。

清華大學與騰訊聯合組成的團隊在MLSys2026的MoE模型推理最佳化挑戰賽中贏得了全球冠軍。他們為基於NPU硬體的萬億引數MoE模型開發了一套全鏈路最佳化方案,該方案採用了諸如E-Shard分割槽技術和PSUM/GEMV併發機制等創新策略。在名為Knight的自動化最佳化工具的幫助下,他們的方法將端到端的推理時間從14.91秒縮短到了3.56秒,效能提升了4.1倍。這一成果為未來在超級節點計算平臺上部署大型MoE模型提供了重要的工程範例。 清華大學與騰訊聯合組成的團隊在MLSys2026的MoE模型推理最佳化挑戰賽中贏得了全球冠軍。他們為基於NPU硬體的萬億引數MoE模型開發了一套全鏈路最佳化方案,該方案採用了諸如E-Shard分割槽技術和PSUM/GEMV併發機制等創新策略。在名為Knight的自動化最佳化工具的幫助下,他們的方法將端到端的推理時間從14.91秒縮短到了3.56秒,效能提升了4.1倍。這一成果為未來在超級節點計算平臺上部署大型MoE模型提供了重要的工程範例。
評論 (0)
0/300
OR