首页清华大学与腾讯“混元”以4.1倍的NPU加速率赢得MLSys2026 MoE推理挑战赛
清华大学存储实验室与腾讯MegEngine AI基础设施团队近日在MLSys2026（一场领先的机器学习系统会议）上举办的“混合专家（MoE）模型推理优化挑战赛”中摘得全球冠军。
为解决在异构NPU芯片上运行的、参数规模达万亿级的“专家混合”（MoE）架构中的推理性能瓶颈，该联合团队针对官方模型和NPU硬件设计了一套全链路优化方案。 通过采用 E-Shard 策略进行专家级任务划分、PSUM 3D 张量批量读出、GEMV 路径（将输出分布到多个存储银行以实现并行处理），以及使用标量引擎来降低初始数据传输延迟，他们成功解决了操作符层级的数据传输效率低下和重复激活传输问题。
与此同时，团队重新组织了注意力模块的片上数据布局，并整合了核心 Transformer 运算符，实现了位级的高精度对齐。
图 3：MoE 优化架构示意图，展示了 E-Shard 专家级任务划分、连续 DMA、PSUM/GEMV 并发处理、冷启动管道以及预取控制等功能。
此外，该团队还开发了一个名为“Knight”的基于代理的推理操作符优化器。 通过提案、代码实现和迭代的自动化闭环流程，该优化器极大地拓宽了优化搜索空间。结果，端到端推理时间从 14.91 秒缩短至 3.56 秒，速度提升了 4.1 倍； 单步解码延迟从12.63毫秒降至5.45毫秒，权重加载期间DMA引擎利用率攀升至约80%。
这一成就超越了斯坦福大学和麻省理工学院等全球顶尖高校的研究团队，彰显了中国团队在将大型模型适配底层系统及优化运算符方面的深厚造诣。同时，它也为未来在超级节点计算平台上部署万亿参数MoE模型提供了宝贵的工程蓝图。
相关文章
Anthropic 在一周内遭遇两次重大数据泄露，动摇其 AI 安全声明的可信度
Anthropic，这家因强调安全与谨慎而备受认可的AI领军企业，近期在科技领域引发轰动。继上周意外泄露3,000份内部文件后，该公司于本周二再次犯下重大错误：一次打包配置失误导致其核心产品的“蓝图”暴露，致使超过512,000行源代码向公众泄露。此次事件源于人为失误，而非外部网络攻击。尽管Anthropic试图通过将其定性为“发布打包问题”来淡化严重性，但模型行为指令和工具限制逻辑的大范围暴露，已引发竞争对手和安全研究人员的深入分析。涟漪效应：OpenAI在Claude Code压力下暂停
敏捷机器人公司选择 Nyobolt 为 Digit 5 人形机器人提供快速充电解决方案
Nyobolt 为 Digit 5 提供快速充电、持久的电池技术。来源：Agility电源管理仍然是人形机器人开发者面临的关键障碍。Agility Robotics Inc. 宣布与 Nyobolt 合作，为其 Digit 5 平台开发快速充电电池系统。据两家公司称，这项创新使机器人每天能够运行超过 20 小时。“对于我们的客户来说，最大化 Digit 的运行时间是核心商业案例，”Agility 首席商务官 Daniel Diez 表示。“Digit 5 在 24 小时周期内提供超过 20 小时
苹果iOS 27更新：Siri进入双模式时代，可自由切换ChatGPT
iOS 27 对 Siri 的架构进行了根本性的重构，核心是一个全新的独立应用程序，它超越了传统的纯语音交互模式。该应用采用聊天机器人界面设计，允许用户输入文本提示，从而实现无缝的人工智能对话。它支持图片和文档上传，保留聊天记录，并简化了复杂的、多步骤的任务处理。苹果采取了开放策略，允许用户在原生 Siri 与 ChatGPT 等第三方模型之间切换。通过长按输入框并选择“询问…”，用户可以选择最适合其特定需求的人工智能服务。目前该应用仍处于早期开发阶段，包含一些保护措施，例如在重新打开时重置为
相关专题推荐
设计与艺术
顶级AI插画工具：更快地创作编辑类场景和封面插图
2026年最新高评分AI插画工具：我们精心挑选的这份清单汇集了功能强大的顶级工具，助您快速创作令人惊艳的编辑场景和引人注目的封面艺术。每款工具都经过了严格的实际测试，并提供了免费版与付费版的对比，帮助您找到最适合您工作流程的工具。 立即尝试这些必试解决方案，释放您的AI优势，提升创作效率。立即访问 XIX.AI 探索更多。
10 个工具
xix.ai
教育与学习
备考首选的顶尖AI辅导老师：练习数学、科学和英语
2026年最新、评分最高的考试备考AI辅导工具现已登陆XIX.AI！我们精心筛选的这份清单汇集了多款功能强大、颠覆传统的工具，提供免费与付费版本的对比、实际测试以及每周更新的排行榜。它们能帮助你提升写作效率、简化复杂主题的学习，并释放你的学术潜能。 立即探索，发现最适合您的备考工具，今天就开始创作，释放您的AI优势！
10 个工具
xix.ai
金融
用于个人财务管理的 AI 预算规划工具
2026 年最新最佳顶级评分 AI 预算规划工具，专为个人财务管理打造，现已登陆 XIX.AI！本精选合集收录了强大且具颠覆性的解决方案，助您开展实际测试、理解消费习惯，并制定个性化计划以提升生产力。享受免费与付费版的对比及详细排名。这些必试工具旨在简化财务管理，助您释放 AI 优势。立即探索！
11 个工具
xix.ai
健康养生
AI睡眠追踪助手：通过养成更好的睡前习惯来促进身体恢复
2026年最新精选高评分AI睡眠追踪助手，助您实现最佳恢复效果。这份全面更新的每周指南汇集了强大的工具，提供实际测试结果、免费与付费版本对比以及详细排名，助您找到必试的解决方案，从而提升睡眠质量并养成更好的就寝习惯。 立即访问 XIX.AI，解锁您的AI优势。
10 个工具
xix.ai
数据分析
用于产品和收入分析的 AI SQL 辅助工具
2026年最新、最受欢迎、评分最高的AI SQL辅助工具，助力产品与营收分析！ XIX.AI 精心遴选了一系列功能强大、颠覆性的必试工具，这些工具均经过每周更新的排名体系进行实战测试。它们能通过加速数据分析、简化复杂查询并生成精准洞察，帮助用户显著提升工作效率，从而推动更明智的商业决策。立即探索，发现最适合您的工具，释放您的AI优势！
14 个工具
xix.ai
教育与学习
最佳的、兼具教学功能的AI作业助手：学习概念，而不仅仅是答案
2026年最新最佳高评分AI作业助手：不仅提供答案，更传授核心概念。专为学生打造的强大工具，精选必试清单，每周更新，免费与付费版本对比，真实使用测试，精准排名，助您充分释放学习潜能。立即探索，发现最适合您的工具，让学习更高效。
10 个工具
xix.ai
评论 (1)
0/500
![BrianMartinez]()
That's a massive leap! 4.1x NPU speedup for MoE inference? I'm curious about the techniques they used. Is it better quantization or sparse attention? Either way, congrats to the team! 🎉
清华大学存储实验室与腾讯MegEngine AI基础设施团队近日在MLSys2026（一场领先的机器学习系统会议）上举办的“混合专家（MoE）模型推理优化挑战赛”中摘得全球冠军。
为解决在异构NPU芯片上运行的、参数规模达万亿级的“专家混合”（MoE）架构中的推理性能瓶颈，该联合团队针对官方模型和NPU硬件设计了一套全链路优化方案。 通过采用 E-Shard 策略进行专家级任务划分、PSUM 3D 张量批量读出、GEMV 路径（将输出分布到多个存储银行以实现并行处理），以及使用标量引擎来降低初始数据传输延迟，他们成功解决了操作符层级的数据传输效率低下和重复激活传输问题。
与此同时，团队重新组织了注意力模块的片上数据布局，并整合了核心 Transformer 运算符，实现了位级的高精度对齐。
图 3：MoE 优化架构示意图，展示了 E-Shard 专家级任务划分、连续 DMA、PSUM/GEMV 并发处理、冷启动管道以及预取控制等功能。
此外，该团队还开发了一个名为“Knight”的基于代理的推理操作符优化器。 通过提案、代码实现和迭代的自动化闭环流程，该优化器极大地拓宽了优化搜索空间。结果，端到端推理时间从 14.91 秒缩短至 3.56 秒，速度提升了 4.1 倍； 单步解码延迟从12.63毫秒降至5.45毫秒，权重加载期间DMA引擎利用率攀升至约80%。
这一成就超越了斯坦福大学和麻省理工学院等全球顶尖高校的研究团队，彰显了中国团队在将大型模型适配底层系统及优化运算符方面的深厚造诣。同时，它也为未来在超级节点计算平台上部署万亿参数MoE模型提供了宝贵的工程蓝图。
Anthropic 在一周内遭遇两次重大数据泄露，动摇其 AI 安全声明的可信度
Anthropic，这家因强调安全与谨慎而备受认可的AI领军企业，近期在科技领域引发轰动。继上周意外泄露3,000份内部文件后，该公司于本周二再次犯下重大错误：一次打包配置失误导致其核心产品的“蓝图”暴露，致使超过512,000行源代码向公众泄露。此次事件源于人为失误，而非外部网络攻击。尽管Anthropic试图通过将其定性为“发布打包问题”来淡化严重性，但模型行为指令和工具限制逻辑的大范围暴露，已引发竞争对手和安全研究人员的深入分析。涟漪效应：OpenAI在Claude Code压力下暂停
敏捷机器人公司选择 Nyobolt 为 Digit 5 人形机器人提供快速充电解决方案
Nyobolt 为 Digit 5 提供快速充电、持久的电池技术。来源：Agility电源管理仍然是人形机器人开发者面临的关键障碍。Agility Robotics Inc. 宣布与 Nyobolt 合作，为其 Digit 5 平台开发快速充电电池系统。据两家公司称，这项创新使机器人每天能够运行超过 20 小时。“对于我们的客户来说，最大化 Digit 的运行时间是核心商业案例，”Agility 首席商务官 Daniel Diez 表示。“Digit 5 在 24 小时周期内提供超过 20 小时
苹果iOS 27更新：Siri进入双模式时代，可自由切换ChatGPT
iOS 27 对 Siri 的架构进行了根本性的重构，核心是一个全新的独立应用程序，它超越了传统的纯语音交互模式。该应用采用聊天机器人界面设计，允许用户输入文本提示，从而实现无缝的人工智能对话。它支持图片和文档上传，保留聊天记录，并简化了复杂的、多步骤的任务处理。苹果采取了开放策略，允许用户在原生 Siri 与 ChatGPT 等第三方模型之间切换。通过长按输入框并选择“询问…”，用户可以选择最适合其特定需求的人工智能服务。目前该应用仍处于早期开发阶段，包含一些保护措施，例如在重新打开时重置为
2026年最新高评分AI插画工具：我们精心挑选的这份清单汇集了功能强大的顶级工具，助您快速创作令人惊艳的编辑场景和引人注目的封面艺术。每款工具都经过了严格的实际测试，并提供了免费版与付费版的对比，帮助您找到最适合您工作流程的工具。 立即尝试这些必试解决方案，释放您的AI优势，提升创作效率。立即访问 XIX.AI 探索更多。
10 个工具
xix.ai
2026年最新、评分最高的考试备考AI辅导工具现已登陆XIX.AI！我们精心筛选的这份清单汇集了多款功能强大、颠覆传统的工具，提供免费与付费版本的对比、实际测试以及每周更新的排行榜。它们能帮助你提升写作效率、简化复杂主题的学习，并释放你的学术潜能。 立即探索，发现最适合您的备考工具，今天就开始创作，释放您的AI优势！
10 个工具
xix.ai
2026 年最新最佳顶级评分 AI 预算规划工具，专为个人财务管理打造，现已登陆 XIX.AI！本精选合集收录了强大且具颠覆性的解决方案，助您开展实际测试、理解消费习惯，并制定个性化计划以提升生产力。享受免费与付费版的对比及详细排名。这些必试工具旨在简化财务管理，助您释放 AI 优势。立即探索！
11 个工具
xix.ai
2026年最新精选高评分AI睡眠追踪助手，助您实现最佳恢复效果。这份全面更新的每周指南汇集了强大的工具，提供实际测试结果、免费与付费版本对比以及详细排名，助您找到必试的解决方案，从而提升睡眠质量并养成更好的就寝习惯。 立即访问 XIX.AI，解锁您的AI优势。
10 个工具
xix.ai
2026年最新、最受欢迎、评分最高的AI SQL辅助工具，助力产品与营收分析！ XIX.AI 精心遴选了一系列功能强大、颠覆性的必试工具，这些工具均经过每周更新的排名体系进行实战测试。它们能通过加速数据分析、简化复杂查询并生成精准洞察，帮助用户显著提升工作效率，从而推动更明智的商业决策。立即探索，发现最适合您的工具，释放您的AI优势！
14 个工具
xix.ai
2026年最新最佳高评分AI作业助手：不仅提供答案，更传授核心概念。专为学生打造的强大工具，精选必试清单，每周更新，免费与付费版本对比，真实使用测试，精准排名，助您充分释放学习潜能。立即探索，发现最适合您的工具，让学习更高效。
10 个工具
xix.ai
That's a massive leap! 4.1x NPU speedup for MoE inference? I'm curious about the techniques they used. Is it better quantization or sparse attention? Either way, congrats to the team! 🎉
