Дом
M6 Intelligence и Цинхуа представили открытый исходный код BitCPM-CANN для запуска крупных моделей на мобильных устройствах
Компания MBLab в сотрудничестве с Университетом Цинхуа и сообществом OpenBMB, занимающимся разработкой программного обеспечения с открытым исходным кодом, недавно представила и открыла для общего доступа значительный прорыв в области обучения крупных моделей с низким битовым разрешением: BitCPM-CANN. Разработанная непосредственно на платформе Ascend компании Huawei, эта знаковая разработка способствует снижению веса и упрощению внедрения крупных моделей искусственного интеллекта на периферийных устройствах.

Шестикратное преимущество в использовании памяти преодолевает аппаратные ограничения
BitCPM-CANN, теперь доступный в виде открытого исходного кода, представлен в четырёх размерах: 0,5B, 1B, 3B и 8B. При прямом сравнении с моделями полной точности эквивалентного размера он демонстрирует выдающуюся производительность. По сравнению с традиционной точностью BF16 она обеспечивает примерно шестикратную экономию памяти при инференсе, что радикально сокращает требования к аппаратному обеспечению, необходимому для работы крупных моделей.
Для мобильных устройств это шестикратное преимущество в использовании памяти означает, что крупные модели с 8B параметров, которые раньше требовали аппаратного обеспечения высшего уровня, теперь могут бесперебойно работать на популярных флагманских смартфонах. Этот значительный запас памяти напрямую ускоряет внедрение и коммерческое развертывание технологий ИИ на периферийных устройствах на мобильных платформах.
Высокий коэффициент сохранения характеристик подтверждает воспроизводимость инженерных решений
Несмотря на уменьшение размера модели, BitCPM-CANN сохраняет исключительно высокую производительность, при этом коэффициенты сохранения способностей варьируются от 90% до 97,2%. Для трёх моделей большего размера коэффициент сохранения составляет от 95,7% до 97,2%, а даже у самой маленькой версии объёмом 0,5B он превышает 90%.
Эти впечатляющие результаты систематически демонстрируют, что подход к обучению с использованием малого количества битов обеспечивает высокую масштабируемость и инженерную воспроизводимость. Компания MBLab создала на основе этих ключевых технологий всеобъемлющую основу для обучения с низким битовым разрешением, охватывающую полный стек инженерных решений — включая адаптацию к среде, поддержку длинных последовательностей длиной 32K и объединенные операторы — тем самым обеспечивая надежную общедоступную инфраструктуру для будущих работ по обучению с низким битовым разрешением на платформе Ascend.
Связанная статья
Apple соглашается на урегулирование спора на сумму $250 млн из-за задержки внедрения ИИ Siri
Apple согласилась выплатить 250 миллионов долларов для урегулирования коллективного иска, касающегося её маркетинга функций искусственного интеллекта до запуска iPhone 16, как впервые сообщил Financial Times.Истец утверждал, что Apple преувеличила в
Ando запускает приложение для командной переписки, объединяющее людей и ИИ
В 2025 году, пока Сара Ду помогала компаниям разрабатывать серверы MCP, возникал повторяющийся вопрос: как команды могут напрямую использовать ИИ-агентов в Slack? Этот путь преграждали значительные технические барьеры, включая сложность синхронизации
Компания Empirik, в которой инвестировала Sequoia, привлекла 21 млн долларов для прогнозирования сбоев в работе систем до их возникновения
До прихода в Sequoia Capital в 2020 году на должность директора по цифровым технологиям и информационным системам Эйвон Пури более десяти лет руководил инфраструктурным направлением в компаниях Rubrik
Рекомендации по связанным специальным темам
Комментарии (0)
Компания MBLab в сотрудничестве с Университетом Цинхуа и сообществом OpenBMB, занимающимся разработкой программного обеспечения с открытым исходным кодом, недавно представила и открыла для общего доступа значительный прорыв в области обучения крупных моделей с низким битовым разрешением: BitCPM-CANN. Разработанная непосредственно на платформе Ascend компании Huawei, эта знаковая разработка способствует снижению веса и упрощению внедрения крупных моделей искусственного интеллекта на периферийных устройствах.

Шестикратное преимущество в использовании памяти преодолевает аппаратные ограничения
BitCPM-CANN, теперь доступный в виде открытого исходного кода, представлен в четырёх размерах: 0,5B, 1B, 3B и 8B. При прямом сравнении с моделями полной точности эквивалентного размера он демонстрирует выдающуюся производительность. По сравнению с традиционной точностью BF16 она обеспечивает примерно шестикратную экономию памяти при инференсе, что радикально сокращает требования к аппаратному обеспечению, необходимому для работы крупных моделей.
Для мобильных устройств это шестикратное преимущество в использовании памяти означает, что крупные модели с 8B параметров, которые раньше требовали аппаратного обеспечения высшего уровня, теперь могут бесперебойно работать на популярных флагманских смартфонах. Этот значительный запас памяти напрямую ускоряет внедрение и коммерческое развертывание технологий ИИ на периферийных устройствах на мобильных платформах.
Высокий коэффициент сохранения характеристик подтверждает воспроизводимость инженерных решений
Несмотря на уменьшение размера модели, BitCPM-CANN сохраняет исключительно высокую производительность, при этом коэффициенты сохранения способностей варьируются от 90% до 97,2%. Для трёх моделей большего размера коэффициент сохранения составляет от 95,7% до 97,2%, а даже у самой маленькой версии объёмом 0,5B он превышает 90%.
Эти впечатляющие результаты систематически демонстрируют, что подход к обучению с использованием малого количества битов обеспечивает высокую масштабируемость и инженерную воспроизводимость. Компания MBLab создала на основе этих ключевых технологий всеобъемлющую основу для обучения с низким битовым разрешением, охватывающую полный стек инженерных решений — включая адаптацию к среде, поддержку длинных последовательностей длиной 32K и объединенные операторы — тем самым обеспечивая надежную общедоступную инфраструктуру для будущих работ по обучению с низким битовым разрешением на платформе Ascend.
Apple соглашается на урегулирование спора на сумму $250 млн из-за задержки внедрения ИИ Siri
Apple согласилась выплатить 250 миллионов долларов для урегулирования коллективного иска, касающегося её маркетинга функций искусственного интеллекта до запуска iPhone 16, как впервые сообщил Financial Times.Истец утверждал, что Apple преувеличила в
Ando запускает приложение для командной переписки, объединяющее людей и ИИ
В 2025 году, пока Сара Ду помогала компаниям разрабатывать серверы MCP, возникал повторяющийся вопрос: как команды могут напрямую использовать ИИ-агентов в Slack? Этот путь преграждали значительные технические барьеры, включая сложность синхронизации
Компания Empirik, в которой инвестировала Sequoia, привлекла 21 млн долларов для прогнозирования сбоев в работе систем до их возникновения
До прихода в Sequoia Capital в 2020 году на должность директора по цифровым технологиям и информационным системам Эйвон Пури более десяти лет руководил инфраструктурным направлением в компаниях Rubrik











