Uma equipe conjunta da Universidade Tsinghua e da Tencent venceu o campeonato global no desafio de otimização de inferência de modelos MoE da MLSys2026. Eles desenvolveram uma solução de otimização completa para modelos MoE com trilhões de parâmetros em hardware NPU, utilizando estratégias inovadoras como partição E-Shard e concorrência PSUM/GEMV. Com a ajuda de um otimizador automatizado chamado Knight, seu método reduziu o tempo total de inferência de 14,91 segundos para 3,56 segundos, alcançando uma aceleração de desempenho de 4,1 vezes. Isso representa um paradigma engenhosístico importante para a implementação de modelos MoE de grande escala em futuras plataformas de computação de super-nós.
Ao clicar em "Aceitar todos os cookies", você concorda com o armazenamento de cookies em seu dispositivo para melhorar a navegação no site, analisar o uso do site e auxiliar em nossos esforços de marketing.Política de Privacidade Aviso
Ao visitar qualquer site, ele pode armazenar ou recuperar informações em seu navegador, principalmente na forma de cookies. Essas informações podem ser sobre você, suas preferências ou seu dispositivo e são usadas principalmente para fazer com que o site funcione conforme esperado. As informações geralmente não identificam você diretamente, mas podem proporcionar uma experiência web mais personalizada. Como respeitamos seu direito à privacidade, você pode optar por não permitir alguns tipos de cookies. Clique nos diferentes títulos de categoria para saber mais e alterar nossas configurações padrão. No entanto, bloquear alguns tipos de cookies pode afetar sua experiência no site e os serviços que podemos oferecer. Política de PrivacidadeDeclaração
Gerenciar preferências
Cookie estritamente necessário
Sempre ativado
Esses cookies são necessários para o funcionamento do site e não podem ser desativados em nossos sistemas. Eles geralmente são definidos apenas em resposta a ações que você realiza, que equivalem a uma solicitação de serviços, como configurar suas preferências de privacidade, fazer login ou preencher formulários. Você pode configurar seu navegador para bloquear esses cookies ou alertá-lo sobre eles, mas algumas partes do site não funcionarão depois. Esses cookies não armazenam nenhuma informação que permita identificar pessoalmente.