Дом
Университет Цинхуа и компания Tencent Hunyuan победили в конкурсе MoE Inference Challenge в рамках конференции MLSys2026, продемонстрировав 4,1-кратное ускорение работы NPU
Лаборатория систем хранения данных Университета Цинхуа и команда MegEngine AI Infra компании Tencent недавно завоевали титул мировых чемпионов в конкурсе по оптимизации инференса моделей MoE в рамках MLSys2026 — ведущей конференции по системам машинного обучения.
Чтобы устранить узкие места в производительности инференса в архитектуре «смеси экспертов» (MoE) с триллионным масштабом параметров, работающей на гетерогенных чипах NPU, совместная команда разработала решение по оптимизации всего цепочки для официальной модели и аппаратного обеспечения NPU. Благодаря применению стратегии E-Shard для разбиения задач на уровне экспертов, пакетного считывания 3D-тензоров PSUM, алгоритма GEMV, распределяющего выходные данные по нескольким банкам для обеспечения параллелизма, а также использования скалярных движков для сокращения задержки при первоначальной передаче данных, команде удалось успешно устранить низкую эффективность передачи данных и повторяющиеся передачи активаций на уровне операторов.
Параллельно с этим команда реорганизовала расположение данных на кристалле для модуля внимания и интегрировала основные операторы Transformer, обеспечив высокоточное выравнивание на битовом уровне.
Рисунок 3: Схема архитектуры оптимизации MoE, включающей экспертное разбиение E-Shard, непрерывный DMA, параллелизм PSUM/GEMV, конвейер «холодного запуска» и управление предварительной выборкой.
Кроме того, команда разработала агент-ориентированный оптимизатор операторов инференса под названием «Knight». Благодаря автоматизированному процессу с обратной связью, включающему выдвижение предложений, реализацию кода и итерации, удалось значительно расширить пространство поиска оптимизаций. В результате время сквозного вывода сократилось с 14,91 секунды до 3,56 секунды, что соответствует 4,1-кратному ускорению; задержка одношагового декодирования сократилась с 12,63 мс до 5,45 мс, а загрузка DMA-движка при загрузке весов выросла примерно до 80 %.
Превзойдя команды из ведущих мировых университетов, таких как Стэнфорд и Массачусетский технологический институт (MIT), это достижение подчеркивает глубокую экспертизу китайских команд в адаптации крупных моделей к базовым системам и оптимизации операторов. Оно также предоставляет ценный инженерный план для развертывания моделей MoE с триллионами параметров на будущих вычислительных платформах на базе суперузлов.
Связанная статья
Anthropic столкнулась с двумя крупными утечками данных в течение недели, что подрывает доверие к её заявлениям о безопасности ИИ
Anthropic, лидер в области искусственного интеллекта, известный своим акцентом на безопасность и осторожность, недавно вызвал переполох в технологическом секторе. После случайной публикации 3 000 внутренних документов на прошлой неделе компания допус
Agility Robotics выбрала Nyobolt для быстрой зарядки человекоподобного робота Digit 5
Nyobolt supplies fast-charging, long-lasting battery technology for Digit 5. Source: AgilityУправление питанием остается критической проблемой для разработчиков человекоподобных роботов. Компания Agility Robotics Inc. объявила о сотрудничестве с Nyob
Обновление Apple iOS 27: Siri вступает в эру двухрежимной работы с бесплатным переключением на ChatGPT
iOS 27 представляет собой фундаментальную переработку архитектуры Siri, в центре которой находится новое автономное приложение, выходящее за рамки традиционных голосовых взаимодействий.Созданное с использованием интерфейса чат-бота, приложение позвол
Рекомендации по связанным специальным темам
Дизайн и искусство
Лучшие инструменты для создания иллюстраций с помощью ИИ: быстрее создавайте редакционные сцены и обложки
2026: Новейшие и самые популярные инструменты для создания иллюстраций с помощью ИИ: в нашем тщательно подобранном списке представлены лучшие инструменты с мощными функциональными возможностями, позволяющие быстро создавать потрясающие редакционные сцены и привлекательные обложки. Каждый вариант прошел тщательные практические испытания; мы предлагаем сравнение бесплатных и платных версий, чтобы помочь вам найти идеальный вариант для вашего рабочего процесса. Попробуйте эти незаменимые решения уже сегодня, чтобы раскрыть потенциал искусственного интеллекта и повысить свою творческую продуктивность. Узнайте больше на сайте XIX.AI.
10 инструментов
xix.ai
Образование и обучение
Лучшие репетиторы по искусственному интеллекту для подготовки к экзаменам: практикуйтесь по математике, естественным наукам и английскому языку
2026 года: лучшие и самые популярные ИИ-репетиторы для подготовки к экзаменам представлены на XIX.AI! В нашем тщательно подобранном списке представлены мощные инструменты, которые кардинально изменят ваш подход к обучению: здесь вы найдете сравнение бесплатных и платных версий, тесты на практике и еженедельно обновляемые рейтинги. Они помогут повысить эффективность вашего письма, упростить изучение сложных тем и раскрыть ваш академический потенциал. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент для подготовки к экзаменам, и начните творить уже сегодня, чтобы раскрыть свои преимущества благодаря ИИ!
10 инструментов
xix.ai
Финансы
Инструменты планирования бюджета на основе ИИ для управления личными финансами
В 2026 году на XIX.AI представлены новейшие, лучшие и наиболее рейтинговые инструменты ИИ для бюджетного планирования по личным финансам! Эта тщательно отобранная коллекция включает мощные, революционные решения, которые помогают проводить реальные тесты, понимать привычки расходов и создавать персонализированные планы для повышения продуктивности. Наслаждайтесь бесплатным сравнением с платными версиями вместе с подробными рейтингами. Инструменты, которые обязательно стоит попробовать, разработаны для упрощения управления деньгами и раскрытия вашего преимущества ИИ. Исследуйте сейчас!
11 инструментов
xix.ai
Здоровье и благополучие
Помощники для отслеживания сна с ИИ: улучшите восстановление за счёт более правильных привычек перед сном
2026 год: лучшие и наиболее высоко оценённые помощники для отслеживания сна на основе ИИ, отобранные для максимального восстановления организма. В этом полностью обновлённом еженедельном руководстве представлены мощные инструменты с результатами реальных тестов, сравнением бесплатных и платных версий, а также подробными рейтингами, которые помогут вам найти оптимальное решение для улучшения качества сна и формирования лучших привычек перед сном. Ознакомьтесь с ним прямо сейчас на сайте XIX.AI, чтобы раскрыть потенциал ИИ в вашей жизни.
10 инструментов
xix.ai
Анализ данных
AI-копилоты SQL для аналитики продуктов и выручки
2026: лучшие и самые популярные ИИ-помощники для работы с SQL в сфере аналитики продуктов и доходов! XIX.AI подготовила мощную, революционную подборку инструментов, которые обязательно стоит попробовать. Они проходят проверку в реальных условиях и включаются в еженедельно обновляемый рейтинг. Эти инструменты помогают пользователям значительно повысить продуктивность за счет ускорения анализа данных, оптимизации сложных запросов и получения точных аналитических выводов, которые позволяют принимать более обоснованные бизнес-решения. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент, который поможет вам раскрыть весь потенциал искусственного интеллекта!
14 инструментов
xix.ai
Образование и обучение
Лучшие помощники по домашним заданиям с ИИ, которые учат: изучайте концепции, а не просто ответы
2026: лучшие и самые популярные помощники по домашним заданиям с ИИ, которые обучают основным концепциям, а не просто дают готовые ответы. Мощные инструменты для студентов. Обязательный к пробованию тщательно отобранный список. Еженедельное обновление. Сравнение бесплатных и платных версий. Тестирование в реальных условиях. Точные рейтинги, которые помогут вам раскрыть весь свой учебный потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для более эффективного обучения.
10 инструментов
xix.ai
Комментарии (1)
![BrianMartinez]()
That's a massive leap! 4.1x NPU speedup for MoE inference? I'm curious about the techniques they used. Is it better quantization or sparse attention? Either way, congrats to the team! 🎉
Лаборатория систем хранения данных Университета Цинхуа и команда MegEngine AI Infra компании Tencent недавно завоевали титул мировых чемпионов в конкурсе по оптимизации инференса моделей MoE в рамках MLSys2026 — ведущей конференции по системам машинного обучения.
Чтобы устранить узкие места в производительности инференса в архитектуре «смеси экспертов» (MoE) с триллионным масштабом параметров, работающей на гетерогенных чипах NPU, совместная команда разработала решение по оптимизации всего цепочки для официальной модели и аппаратного обеспечения NPU. Благодаря применению стратегии E-Shard для разбиения задач на уровне экспертов, пакетного считывания 3D-тензоров PSUM, алгоритма GEMV, распределяющего выходные данные по нескольким банкам для обеспечения параллелизма, а также использования скалярных движков для сокращения задержки при первоначальной передаче данных, команде удалось успешно устранить низкую эффективность передачи данных и повторяющиеся передачи активаций на уровне операторов.
Параллельно с этим команда реорганизовала расположение данных на кристалле для модуля внимания и интегрировала основные операторы Transformer, обеспечив высокоточное выравнивание на битовом уровне.
Рисунок 3: Схема архитектуры оптимизации MoE, включающей экспертное разбиение E-Shard, непрерывный DMA, параллелизм PSUM/GEMV, конвейер «холодного запуска» и управление предварительной выборкой.
Кроме того, команда разработала агент-ориентированный оптимизатор операторов инференса под названием «Knight». Благодаря автоматизированному процессу с обратной связью, включающему выдвижение предложений, реализацию кода и итерации, удалось значительно расширить пространство поиска оптимизаций. В результате время сквозного вывода сократилось с 14,91 секунды до 3,56 секунды, что соответствует 4,1-кратному ускорению; задержка одношагового декодирования сократилась с 12,63 мс до 5,45 мс, а загрузка DMA-движка при загрузке весов выросла примерно до 80 %.
Превзойдя команды из ведущих мировых университетов, таких как Стэнфорд и Массачусетский технологический институт (MIT), это достижение подчеркивает глубокую экспертизу китайских команд в адаптации крупных моделей к базовым системам и оптимизации операторов. Оно также предоставляет ценный инженерный план для развертывания моделей MoE с триллионами параметров на будущих вычислительных платформах на базе суперузлов.
Anthropic столкнулась с двумя крупными утечками данных в течение недели, что подрывает доверие к её заявлениям о безопасности ИИ
Anthropic, лидер в области искусственного интеллекта, известный своим акцентом на безопасность и осторожность, недавно вызвал переполох в технологическом секторе. После случайной публикации 3 000 внутренних документов на прошлой неделе компания допус
Agility Robotics выбрала Nyobolt для быстрой зарядки человекоподобного робота Digit 5
Nyobolt supplies fast-charging, long-lasting battery technology for Digit 5. Source: AgilityУправление питанием остается критической проблемой для разработчиков человекоподобных роботов. Компания Agility Robotics Inc. объявила о сотрудничестве с Nyob
Обновление Apple iOS 27: Siri вступает в эру двухрежимной работы с бесплатным переключением на ChatGPT
iOS 27 представляет собой фундаментальную переработку архитектуры Siri, в центре которой находится новое автономное приложение, выходящее за рамки традиционных голосовых взаимодействий.Созданное с использованием интерфейса чат-бота, приложение позвол
2026: Новейшие и самые популярные инструменты для создания иллюстраций с помощью ИИ: в нашем тщательно подобранном списке представлены лучшие инструменты с мощными функциональными возможностями, позволяющие быстро создавать потрясающие редакционные сцены и привлекательные обложки. Каждый вариант прошел тщательные практические испытания; мы предлагаем сравнение бесплатных и платных версий, чтобы помочь вам найти идеальный вариант для вашего рабочего процесса. Попробуйте эти незаменимые решения уже сегодня, чтобы раскрыть потенциал искусственного интеллекта и повысить свою творческую продуктивность. Узнайте больше на сайте XIX.AI.
10 инструментов
xix.ai
2026 года: лучшие и самые популярные ИИ-репетиторы для подготовки к экзаменам представлены на XIX.AI! В нашем тщательно подобранном списке представлены мощные инструменты, которые кардинально изменят ваш подход к обучению: здесь вы найдете сравнение бесплатных и платных версий, тесты на практике и еженедельно обновляемые рейтинги. Они помогут повысить эффективность вашего письма, упростить изучение сложных тем и раскрыть ваш академический потенциал. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент для подготовки к экзаменам, и начните творить уже сегодня, чтобы раскрыть свои преимущества благодаря ИИ!
10 инструментов
xix.ai
В 2026 году на XIX.AI представлены новейшие, лучшие и наиболее рейтинговые инструменты ИИ для бюджетного планирования по личным финансам! Эта тщательно отобранная коллекция включает мощные, революционные решения, которые помогают проводить реальные тесты, понимать привычки расходов и создавать персонализированные планы для повышения продуктивности. Наслаждайтесь бесплатным сравнением с платными версиями вместе с подробными рейтингами. Инструменты, которые обязательно стоит попробовать, разработаны для упрощения управления деньгами и раскрытия вашего преимущества ИИ. Исследуйте сейчас!
11 инструментов
xix.ai
2026 год: лучшие и наиболее высоко оценённые помощники для отслеживания сна на основе ИИ, отобранные для максимального восстановления организма. В этом полностью обновлённом еженедельном руководстве представлены мощные инструменты с результатами реальных тестов, сравнением бесплатных и платных версий, а также подробными рейтингами, которые помогут вам найти оптимальное решение для улучшения качества сна и формирования лучших привычек перед сном. Ознакомьтесь с ним прямо сейчас на сайте XIX.AI, чтобы раскрыть потенциал ИИ в вашей жизни.
10 инструментов
xix.ai
2026: лучшие и самые популярные ИИ-помощники для работы с SQL в сфере аналитики продуктов и доходов! XIX.AI подготовила мощную, революционную подборку инструментов, которые обязательно стоит попробовать. Они проходят проверку в реальных условиях и включаются в еженедельно обновляемый рейтинг. Эти инструменты помогают пользователям значительно повысить продуктивность за счет ускорения анализа данных, оптимизации сложных запросов и получения точных аналитических выводов, которые позволяют принимать более обоснованные бизнес-решения. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент, который поможет вам раскрыть весь потенциал искусственного интеллекта!
14 инструментов
xix.ai
2026: лучшие и самые популярные помощники по домашним заданиям с ИИ, которые обучают основным концепциям, а не просто дают готовые ответы. Мощные инструменты для студентов. Обязательный к пробованию тщательно отобранный список. Еженедельное обновление. Сравнение бесплатных и платных версий. Тестирование в реальных условиях. Точные рейтинги, которые помогут вам раскрыть весь свой учебный потенциал. Исследуйте сейчас, чтобы найти идеальный инструмент для более эффективного обучения.
10 инструментов
xix.ai
That's a massive leap! 4.1x NPU speedup for MoE inference? I'm curious about the techniques they used. Is it better quantization or sparse attention? Either way, congrats to the team! 🎉
