집
칭화대학교와 텐센트의 공동팀이 MLSys2026의 MoE 모델 추론 최적화 챌린지에서 세계 챔피언십에서 우승했습니다. 이들은 NPU 하드웨어를 기반으로 한 수조 개의 파라미터를 가진 MoE 모델을 위한 전체 체인 최적화 솔루션을 개발했으며, E-Shard 분할 및 PSUM/GEMV 동시 처리와 같은 새로운 전략을 적용했습니다. Knight라는 자동 최적화 도구의 도움으로 그들의 접근 방식은 추론 시간을 14.91초에서 3.56초로 단축시켜 4.1배의 성능 향상을 이루었습니다. 이는 향후 슈퍼 노드 컴퓨팅 플랫폼에서 대규모 MoE 모델을 구축하는 데 중요한 엔지니어링 패러다임을 제공합니다.
의견 (0)
0/300
