집칭화대와 텐센트 훈위안, NPU 속도 4.1배 향상으로 MLSys2026 MoE 추론 챌린지 우승
칭화대학교 스토리지 연구소와 텐센트의 MegEngine AI 인프라 팀은 최근, 선도적인 머신러닝 시스템 컨퍼런스인 MLSys2026에서 열린 ‘MoE 모델 추론 최적화 챌린지’에서 세계 챔피언에 올랐다.
이 공동 연구팀은 이종 NPU 칩에서 실행되는 1조 규모 매개변수를 가진 전문가 혼합(MoE) 아키텍처의 추론 성능 병목 현상을 해결하기 위해, 공식 모델과 NPU 하드웨어를 위한 풀체인 최적화 솔루션을 설계했습니다. 전문가 수준 작업 분할을 위한 E-Shard 전략, PSUM 3D 텐서 배치 판독, 동시 처리를 위해 여러 뱅크에 출력을 분산시키는 GEMV 경로, 초기 데이터 전송 지연 시간을 줄이기 위한 스칼라 엔진 등을 도입함으로써, 연산자 수준에서 낮은 데이터 전송 효율과 반복적인 활성화 전송 문제를 성공적으로 해결했습니다.
이와 동시에 연구팀은 어텐션 모듈을 위한 온칩 데이터 레이아웃을 재구성하고 핵심 트랜스포머 연산자를 통합하여 비트 수준의 고정밀 정렬을 달성했습니다.
그림 3: E-Shard 전문가 분할, 연속 DMA, PSUM/GEMV 동시성, 콜드 스타트 파이프라인 및 프리페치 제어를 특징으로 하는 MoE 최적화 아키텍처 다이어그램.
또한, 연구팀은 “Knight”라는 에이전트 기반 추론 연산자 최적화기를 개발했습니다. 제안, 코드 구현, 반복이라는 자동화된 폐쇄 루프 프로세스를 통해 최적화 탐색 공간을 획기적으로 확대했습니다. 그 결과, 종단 간 추론 시간이 14.91초에서 3.56초로 단축되어 4.1배의 속도 향상을 달성했으며, 단일 단계 디코딩 지연 시간은 12.63ms에서 5.45ms로 단축되었으며, 가중치 로딩 중 DMA 엔진 활용률은 약 80%까지 상승했습니다.
스탠퍼드와 MIT 등 세계 유수의 대학 팀들을 제친 이번 성과는, 대규모 모델을 기반 시스템에 적용하고 연산자를 최적화하는 데 있어 중국 팀들의 깊은 전문성을 입증합니다. 또한 향후 슈퍼노드 컴퓨팅 플랫폼에 1조 매개변수 규모의 MoE 모델을 배포하기 위한 귀중한 엔지니어링 청사진을 제시합니다.
관련 기사
앤트로픽, 일주일 내 두 건의 주요 데이터 유출로 AI 안전성 주장 신뢰 흔들려
안트로픽(Anthropic)은 안전성과 신중함을 강조하는 것으로 인정받는 AI 리더십 기업으로, 최근 기술 업계에서 큰 파장을 일으켰습니다. 지난주 3,000개의 내부 문서가 실수로 유출된 데 이어, 이 회사는 이번 화요일 또 다른 중대한 실수를 저질렀습니다. 패키지 구성 오류로 인해 핵심 제품의 ‘블루프린트’가 노출되어 512,000줄 이상의 소스 코드가 공개되었습니다.이 사건은 외부 사이버 공격이 아닌 인간의 실수에서 비롯되었습니다. 안트
애지리티 로보틱스, 디짓 5 휴머노이드의 고속 충전을 위해 나볼트(Nyobolt) 선정
Nyobolt는 Digit 5에 고속 충전 및 장기 지속 배터리 기술을 공급합니다. 출처: Agility휴머노이드 로봇 개발자에게 전력 관리는 여전히 중요한 장벽입니다. Agility Robotics Inc.는 Digit 5 플랫폼을 위한 급속 충전 배터리 시스템 개발을 위해 Nyobolt와 협력 관계를 발표했습니다. 양사에 따르면 이 혁신으로 로봇은 하루 20시간 이상 작동할 수 있습니다.“우리 고객에게 Digit의 가동 시간을 최대화하는 것
Apple iOS 27 업데이트: 시리, ChatGPT 무료 전환으로 듀얼 모드 시대에 진입
iOS 27은 Siri의 아키텍처를 근본적으로 재설계한 것으로, 기존 음성 중심 상호작용을 넘어선 새로운 독립형 애플리케이션을 핵심으로 합니다.채팅봇 인터페이스로 설계된 이 앱은 사용자가 AI 대화를 원활하게 진행할 수 있도록 텍스트 프롬프트 입력을 지원합니다. 또한 이미지 및 문서 업로드, 대화 기록 보존, 복잡한 다단계 작업의 단순화 기능을 제공합니다.애플은 사용자가 자체 Siri와 ChatGPT와 같은 서드파티 모델 간에 전환할 수 있도록
관련 특별 주제 추천
디자인과 예술
최고의 AI 일러스트레이션 도구: 편집용 장면과 표지 아트를 더 빠르게 제작하세요
2026년 최신 최고 평점 AI 일러스트레이션 도구: 저희가 엄선한 이 목록에는 멋진 편집용 장면과 눈길을 사로잡는 표지 아트를 빠르게 제작할 수 있는, 강력하고 정교하게 설계된 최고의 도구들이 포함되어 있습니다. 각 도구는 엄격한 실전 테스트를 거쳤으며, 무료 버전과 유료 버전을 비교해 드려 여러분의 워크플로우에 딱 맞는 도구를 찾으실 수 있도록 도와드립니다. 오늘 바로 이 필수 솔루션을 사용해 AI의 장점을 극대화하고 창의적인 생산성을 높여보세요. 지금 XIX.AI에서 확인해 보세요.
10 도구
xix.ai
교육 및 학습
시험 준비를 위한 최고의 AI 과외 선생님: 수학, 과학, 영어 실전 연습
2026년 최신 최고 평점을 받은 최고의 시험 대비 AI 튜터들이 XIX.AI에 모였습니다! 저희가 엄선한 이 목록에는 무료와 유료 서비스 비교, 실제 시험 문제, 매주 업데이트되는 순위 정보를 제공하는 획기적인 도구들이 포함되어 있습니다. 이 도구들은 여러분의 글쓰기 효율을 높이고, 복잡한 주제 학습을 단순화하며, 학업적 잠재력을 최대한 발휘할 수 있도록 도와줍니다. 지금 바로 탐색하여 여러분에게 딱 맞는 시험 준비 도구를 찾아보세요. 오늘부터 창작을 시작하여 AI의 장점을 최대한 활용하세요!
10 도구
xix.ai
재원
개인 자금 관리를 위한 AI 예산 계획 도구
2026년 최신 최고의 평점 높은 AI 예산 관리 도구들이 XIX.AI에서 만나보세요! 이 선별된 컬렉션은 실제 테스트를 수행하고, 지출 습관을 이해하며, 생산성을 높일 수 있는 맞춤형 계획을 수립할 수 있도록 도와주는 강력한 혁신 솔루션을 제공합니다. 무료와 유료 버전을 비교하고 상세한 순위도 확인하세요. 돈 관리를 간소화하고 AI의 이점을 극대화하도록 설계된 필수 도구들을 지금 바로 탐색해 보세요!
11 도구
xix.ai
건강과 웰니스
AI 수면 추적 어시스턴트: 더 나은 취침 습관으로 회복력 향상
2026년 최신의 우수하고 평점이 높은 AI 수면 추적 보조 도구들을 엄선하여 최상의 회복 효과를 제공합니다. 완전히 새롭게 업데이트된 이 주간 가이드에는 실제 환경에서의 테스트 결과, 무료 버전과 유료 버전의 비교 내용, 그리고 상세한 순위 정보가 담겨 있어 수면의 질을 향상시키고 보다 건강한 취침 습관을 형성하는 데 도움이 되는 최적의 솔루션을 찾는 데 유용합니다. 지금 바로 XIX.AI에서 확인하여 AI 기술의 장점을 활용해 보세요.
10 도구
xix.ai
데이터 분석
제품 및 매출 분석을 위한 AI SQL 코파일럿
2026년 제품 및 매출 분석을 위한 최신 최고 평점 AI SQL 코파일럿! XIX.AI는 매주 업데이트되는 랭킹을 통해 실제 환경에서 검증된, 강력하고 판도를 바꿀 만한 필수 도구를 엄선했습니다. 이 도구들은 데이터 분석 속도를 높이고, 복잡한 쿼리를 간소화하며, 정확한 인사이트를 도출하여 더 현명한 비즈니스 의사결정을 내릴 수 있도록 지원함으로써 사용자의 생산성을 획기적으로 향상시킵니다. 지금 바로 살펴보고, 여러분의 AI 경쟁력을 극대화할 완벽한 도구를 찾아보세요!
14 도구
xix.ai
교육 및 학습
배움을 돕는 최고의 AI 숙제 도우미: 단순한 정답이 아닌 개념을 익히세요
2026년 최신 최고 평점을 받은 AI 숙제 도우미: 단순한 정답 제공이 아닌 핵심 개념을 가르쳐 주는 학생들을 위한 강력한 도구. 꼭 사용해 봐야 할 엄선된 목록, 매주 업데이트, 무료 vs 유료 비교, 실제 사용 후기, 정확한 순위 정보를 통해 여러분의 학습 잠재력을 최대한 발휘할 수 있도록 도와드립니다. 지금 바로 살펴보고 더 스마트한 공부를 위한 완벽한 도구를 찾아보세요.
10 도구
xix.ai
의견 (1)
0/500
![BrianMartinez]()
That's a massive leap! 4.1x NPU speedup for MoE inference? I'm curious about the techniques they used. Is it better quantization or sparse attention? Either way, congrats to the team! 🎉
칭화대학교 스토리지 연구소와 텐센트의 MegEngine AI 인프라 팀은 최근, 선도적인 머신러닝 시스템 컨퍼런스인 MLSys2026에서 열린 ‘MoE 모델 추론 최적화 챌린지’에서 세계 챔피언에 올랐다.
이 공동 연구팀은 이종 NPU 칩에서 실행되는 1조 규모 매개변수를 가진 전문가 혼합(MoE) 아키텍처의 추론 성능 병목 현상을 해결하기 위해, 공식 모델과 NPU 하드웨어를 위한 풀체인 최적화 솔루션을 설계했습니다. 전문가 수준 작업 분할을 위한 E-Shard 전략, PSUM 3D 텐서 배치 판독, 동시 처리를 위해 여러 뱅크에 출력을 분산시키는 GEMV 경로, 초기 데이터 전송 지연 시간을 줄이기 위한 스칼라 엔진 등을 도입함으로써, 연산자 수준에서 낮은 데이터 전송 효율과 반복적인 활성화 전송 문제를 성공적으로 해결했습니다.
이와 동시에 연구팀은 어텐션 모듈을 위한 온칩 데이터 레이아웃을 재구성하고 핵심 트랜스포머 연산자를 통합하여 비트 수준의 고정밀 정렬을 달성했습니다.
그림 3: E-Shard 전문가 분할, 연속 DMA, PSUM/GEMV 동시성, 콜드 스타트 파이프라인 및 프리페치 제어를 특징으로 하는 MoE 최적화 아키텍처 다이어그램.
또한, 연구팀은 “Knight”라는 에이전트 기반 추론 연산자 최적화기를 개발했습니다. 제안, 코드 구현, 반복이라는 자동화된 폐쇄 루프 프로세스를 통해 최적화 탐색 공간을 획기적으로 확대했습니다. 그 결과, 종단 간 추론 시간이 14.91초에서 3.56초로 단축되어 4.1배의 속도 향상을 달성했으며, 단일 단계 디코딩 지연 시간은 12.63ms에서 5.45ms로 단축되었으며, 가중치 로딩 중 DMA 엔진 활용률은 약 80%까지 상승했습니다.
스탠퍼드와 MIT 등 세계 유수의 대학 팀들을 제친 이번 성과는, 대규모 모델을 기반 시스템에 적용하고 연산자를 최적화하는 데 있어 중국 팀들의 깊은 전문성을 입증합니다. 또한 향후 슈퍼노드 컴퓨팅 플랫폼에 1조 매개변수 규모의 MoE 모델을 배포하기 위한 귀중한 엔지니어링 청사진을 제시합니다.
앤트로픽, 일주일 내 두 건의 주요 데이터 유출로 AI 안전성 주장 신뢰 흔들려
안트로픽(Anthropic)은 안전성과 신중함을 강조하는 것으로 인정받는 AI 리더십 기업으로, 최근 기술 업계에서 큰 파장을 일으켰습니다. 지난주 3,000개의 내부 문서가 실수로 유출된 데 이어, 이 회사는 이번 화요일 또 다른 중대한 실수를 저질렀습니다. 패키지 구성 오류로 인해 핵심 제품의 ‘블루프린트’가 노출되어 512,000줄 이상의 소스 코드가 공개되었습니다.이 사건은 외부 사이버 공격이 아닌 인간의 실수에서 비롯되었습니다. 안트
애지리티 로보틱스, 디짓 5 휴머노이드의 고속 충전을 위해 나볼트(Nyobolt) 선정
Nyobolt는 Digit 5에 고속 충전 및 장기 지속 배터리 기술을 공급합니다. 출처: Agility휴머노이드 로봇 개발자에게 전력 관리는 여전히 중요한 장벽입니다. Agility Robotics Inc.는 Digit 5 플랫폼을 위한 급속 충전 배터리 시스템 개발을 위해 Nyobolt와 협력 관계를 발표했습니다. 양사에 따르면 이 혁신으로 로봇은 하루 20시간 이상 작동할 수 있습니다.“우리 고객에게 Digit의 가동 시간을 최대화하는 것
Apple iOS 27 업데이트: 시리, ChatGPT 무료 전환으로 듀얼 모드 시대에 진입
iOS 27은 Siri의 아키텍처를 근본적으로 재설계한 것으로, 기존 음성 중심 상호작용을 넘어선 새로운 독립형 애플리케이션을 핵심으로 합니다.채팅봇 인터페이스로 설계된 이 앱은 사용자가 AI 대화를 원활하게 진행할 수 있도록 텍스트 프롬프트 입력을 지원합니다. 또한 이미지 및 문서 업로드, 대화 기록 보존, 복잡한 다단계 작업의 단순화 기능을 제공합니다.애플은 사용자가 자체 Siri와 ChatGPT와 같은 서드파티 모델 간에 전환할 수 있도록
2026년 최신 최고 평점 AI 일러스트레이션 도구: 저희가 엄선한 이 목록에는 멋진 편집용 장면과 눈길을 사로잡는 표지 아트를 빠르게 제작할 수 있는, 강력하고 정교하게 설계된 최고의 도구들이 포함되어 있습니다. 각 도구는 엄격한 실전 테스트를 거쳤으며, 무료 버전과 유료 버전을 비교해 드려 여러분의 워크플로우에 딱 맞는 도구를 찾으실 수 있도록 도와드립니다. 오늘 바로 이 필수 솔루션을 사용해 AI의 장점을 극대화하고 창의적인 생산성을 높여보세요. 지금 XIX.AI에서 확인해 보세요.
10 도구
xix.ai
2026년 최신 최고 평점을 받은 최고의 시험 대비 AI 튜터들이 XIX.AI에 모였습니다! 저희가 엄선한 이 목록에는 무료와 유료 서비스 비교, 실제 시험 문제, 매주 업데이트되는 순위 정보를 제공하는 획기적인 도구들이 포함되어 있습니다. 이 도구들은 여러분의 글쓰기 효율을 높이고, 복잡한 주제 학습을 단순화하며, 학업적 잠재력을 최대한 발휘할 수 있도록 도와줍니다. 지금 바로 탐색하여 여러분에게 딱 맞는 시험 준비 도구를 찾아보세요. 오늘부터 창작을 시작하여 AI의 장점을 최대한 활용하세요!
10 도구
xix.ai
2026년 최신 최고의 평점 높은 AI 예산 관리 도구들이 XIX.AI에서 만나보세요! 이 선별된 컬렉션은 실제 테스트를 수행하고, 지출 습관을 이해하며, 생산성을 높일 수 있는 맞춤형 계획을 수립할 수 있도록 도와주는 강력한 혁신 솔루션을 제공합니다. 무료와 유료 버전을 비교하고 상세한 순위도 확인하세요. 돈 관리를 간소화하고 AI의 이점을 극대화하도록 설계된 필수 도구들을 지금 바로 탐색해 보세요!
11 도구
xix.ai
2026년 최신의 우수하고 평점이 높은 AI 수면 추적 보조 도구들을 엄선하여 최상의 회복 효과를 제공합니다. 완전히 새롭게 업데이트된 이 주간 가이드에는 실제 환경에서의 테스트 결과, 무료 버전과 유료 버전의 비교 내용, 그리고 상세한 순위 정보가 담겨 있어 수면의 질을 향상시키고 보다 건강한 취침 습관을 형성하는 데 도움이 되는 최적의 솔루션을 찾는 데 유용합니다. 지금 바로 XIX.AI에서 확인하여 AI 기술의 장점을 활용해 보세요.
10 도구
xix.ai
2026년 제품 및 매출 분석을 위한 최신 최고 평점 AI SQL 코파일럿! XIX.AI는 매주 업데이트되는 랭킹을 통해 실제 환경에서 검증된, 강력하고 판도를 바꿀 만한 필수 도구를 엄선했습니다. 이 도구들은 데이터 분석 속도를 높이고, 복잡한 쿼리를 간소화하며, 정확한 인사이트를 도출하여 더 현명한 비즈니스 의사결정을 내릴 수 있도록 지원함으로써 사용자의 생산성을 획기적으로 향상시킵니다. 지금 바로 살펴보고, 여러분의 AI 경쟁력을 극대화할 완벽한 도구를 찾아보세요!
14 도구
xix.ai
2026년 최신 최고 평점을 받은 AI 숙제 도우미: 단순한 정답 제공이 아닌 핵심 개념을 가르쳐 주는 학생들을 위한 강력한 도구. 꼭 사용해 봐야 할 엄선된 목록, 매주 업데이트, 무료 vs 유료 비교, 실제 사용 후기, 정확한 순위 정보를 통해 여러분의 학습 잠재력을 최대한 발휘할 수 있도록 도와드립니다. 지금 바로 살펴보고 더 스마트한 공부를 위한 완벽한 도구를 찾아보세요.
10 도구
xix.ai
That's a massive leap! 4.1x NPU speedup for MoE inference? I'm curious about the techniques they used. Is it better quantization or sparse attention? Either way, congrats to the team! 🎉
