选项
首页
快讯
内容
RyanLopez
RyanLopez
2026-05-25

清华大学与腾讯联合组成的团队在MLSys2026的MoE模型推理优化挑战赛中赢得了全球冠军。他们为基于NPU硬件的万亿参数MoE模型开发了一套全链路优化方案,该方案采用了诸如E-Shard分区技术和PSUM/GEMV并发机制等创新策略。在名为Knight的自动化优化工具的帮助下,他们的方法将端到端的推理时间从14.91秒缩短到了3.56秒,性能提升了4.1倍。这一成果为未来在超级节点计算平台上部署大型MoE模型提供了重要的工程范例。

清华大学与腾讯联合组成的团队在MLSys2026的MoE模型推理优化挑战赛中赢得了全球冠军。他们为基于NPU硬件的万亿参数MoE模型开发了一套全链路优化方案,该方案采用了诸如E-Shard分区技术和PSUM/GEMV并发机制等创新策略。在名为Knight的自动化优化工具的帮助下,他们的方法将端到端的推理时间从14.91秒缩短到了3.56秒,性能提升了4.1倍。这一成果为未来在超级节点计算平台上部署大型MoE模型提供了重要的工程范例。 清华大学与腾讯联合组成的团队在MLSys2026的MoE模型推理优化挑战赛中赢得了全球冠军。他们为基于NPU硬件的万亿参数MoE模型开发了一套全链路优化方案,该方案采用了诸如E-Shard分区技术和PSUM/GEMV并发机制等创新策略。在名为Knight的自动化优化工具的帮助下,他们的方法将端到端的推理时间从14.91秒缩短到了3.56秒,性能提升了4.1倍。这一成果为未来在超级节点计算平台上部署大型MoE模型提供了重要的工程范例。
评论 (0)
0/300
OR