вариант
Дом
Срочные новости
Содержание
RaymondWalker
RaymondWalker
4 августа 2026 г.

Swiftlet — среда выполнения на базе Swift и Metal — позволяет запускать крупные модели MoE, такие как Qwen3.6-35B-A3B и Qwen3-Next-80B-A3B, с минимальным использованием памяти, сохраняя в ОЗУ только плотное ядро и потоковую передачу весов экспертных моделей с SSD. На Mac с процессором M5 пиковое потребление памяти для модели 35B составляет 2,6 ГБ (7–11 токенов/с), а для модели 80B — 4,3 ГБ (4,5–5 токенов/с). Версия 35B также работает в нативном режиме на iPhone 17 с потреблением ~2,5 ГБ и производительностью 1 токен/с. Система использует мелкозернистую маршрутизацию «токен-эксперт», выборку данных с SSD на основе преадов, кэширование по принципу LFU и компилируемые во время выполнения шейдеры Metal, поддерживая развертывание на iOS и серверные интерфейсы, совместимые с OpenAI.

Swiftlet — среда выполнения на базе Swift и Metal — позволяет запускать крупные модели MoE, такие как Qwen3.6-35B-A3B и Qwen3-Next-80B-A3B, с минимальным использованием памяти, сохраняя в ОЗУ только плотное ядро и потоковую передачу весов экспертных моделей с SSD. На Mac с процессором M5 пиковое потребление памяти для модели 35B составляет 2,6 ГБ (7–11 токенов/с), а для модели 80B — 4,3 ГБ (4,5–5 токенов/с). Версия 35B также работает в нативном режиме на iPhone 17 с потреблением ~2,5 ГБ и производительностью 1 токен/с. Система использует мелкозернистую маршрутизацию «токен-эксперт», выборку данных с SSD на основе преадов, кэширование по принципу LFU и компилируемые во время выполнения шейдеры Metal, поддерживая развертывание на iOS и серверные интерфейсы, совместимые с OpenAI.
OR