Дом
iPhone 17 Pro локально запускает модель с 400 миллиардами параметров со скоростью 0,6 токенов в секунду

Что определяет вычислительный потолок современных смартфонов? Новейший флагман Apple, iPhone17Pro , дал ответ, который столь же впечатляет, сколько и смиряет.
23 марта на iPhone17Pro успешно была выполнена языковая модель с 400 миллиардами параметров. Примечательно, что даже после квантования такие модели обычно требуют как минимум 200 ГБ памяти, тогда как iPhone17Pro оснащен лишь 12 ГБ оперативной памяти LPDDR5X.
Технические инновации: потоковая передача через флеш-память и архитектура «Смесь экспертов» (MoE)
Преодолевая серьезные ограничения памяти, этот «невозможный подвиг» был достигнут в основном благодаря двум ключевым техническим стратегиям:
SSD как виртуальная память: Используя проект с открытым исходным кодом Flash-MoE, устройство осуществляет потоковую передачу данных непосредственно с твердотельного накопителя (SSD) на графический процессор (GPU), эффективно обходя ограничения физической памяти.
Преимущества архитектуры MoE: «MoE» расшифровывается как Mixture of Experts (Смесь экспертов) — это архитектура, при которой система активирует только подмножество из 400 миллиардов параметров для каждого генерируемого слова, вместо загрузки всей модели целиком.
Компромисс в производительности: медленная скорость генерации
Хотя выполнение модели прошло успешно, пользовательский опыт все еще далек от практического применения. Результаты тестов показывают:
Скорость генерации: Скорость ограничена 0,6 токенов в секунду, что означает примерно 1,5–2 секунды на одно слово.
Влияние на энергопотребление и нагрев: Эта интенсивная локальная обработка быстро разряжает аккумулятор и вызывает значительный нагрев устройства.
Взгляд индустрии: приближается ли локальный ИИ к «сингулярности»?
Несмотря на то, что текущая скорость генерации остается неоптимальной, символическое значение этой демонстрации превышает ее непосредственную полезность. Она доказывает, что запуск крупномасштабных моделей локально на смартфонах является жизнеспособным путем.
Улучшенная конфиденциальность: Локальная обработка гарантирует, что данные остаются на устройстве, исключая необходимость загрузки в облако и обеспечивая более высокий уровень конфиденциальности.
Работа без подключения к интернету: Получение ответов от продвинутых ИИ-систем без подключения к сети становится все более реалистичным.
Связанная статья
Qianwen Creation представляет 7-дневную подписку с 200 баллами и инструментами ускоренного доступа для путешествий и фотографии
Qwen Create официально представила 7-дневный план подписки, предназначенный для оперативных и легких задач по созданию контента с помощью ИИ, включая путешествия, маркетинг мероприятий и социальные сети. После покупки пользователи получают 200 баллов
iOS 27.2 Beta приносит масштабное обновление приложения «Здоровье», а Siri расширяет поддержку до пяти языков
Компания Apple только что выпустила первую бета-версию iOS 27.2 для разработчиков. Пропустив ожидаемый этап тестирования iOS 27.1, Apple напрямую запустила цикл тестирования версии 27.2 16 сентября, одновременно выпустив начальные бета-версии для iOS
Ван Чанху из ByteDance привлек $1,35 млрд за 6 месяцев, обеспечив оценку в миллиард долларов
В быстро развивающейся сфере генерации видео с помощью искусственного интеллекта Ван Чанху выделяется как ключевая фигура, за которой стоит следить. Будучи бывшим руководителем направления визуальных технологий в ByteDance и основателем и генеральным
Рекомендации по связанным специальным темам
Комментарии (0)

Что определяет вычислительный потолок современных смартфонов? Новейший флагман Apple,
23 марта на
Технические инновации: потоковая передача через флеш-память и архитектура «Смесь экспертов» (MoE)
Преодолевая серьезные ограничения памяти, этот «невозможный подвиг» был достигнут в основном благодаря двум ключевым техническим стратегиям:
SSD как виртуальная память: Используя проект с открытым исходным кодом Flash-MoE, устройство осуществляет потоковую передачу данных непосредственно с твердотельного накопителя (SSD) на графический процессор (GPU), эффективно обходя ограничения физической памяти.
Преимущества архитектуры MoE: «MoE» расшифровывается как Mixture of Experts (Смесь экспертов) — это архитектура, при которой система активирует только подмножество из 400 миллиардов параметров для каждого генерируемого слова, вместо загрузки всей модели целиком.
Компромисс в производительности: медленная скорость генерации
Хотя выполнение модели прошло успешно, пользовательский опыт все еще далек от практического применения. Результаты тестов показывают:
Скорость генерации: Скорость ограничена 0,6 токенов в секунду, что означает примерно 1,5–2 секунды на одно слово.
Влияние на энергопотребление и нагрев: Эта интенсивная локальная обработка быстро разряжает аккумулятор и вызывает значительный нагрев устройства.
Взгляд индустрии: приближается ли локальный ИИ к «сингулярности»?
Несмотря на то, что текущая скорость генерации остается неоптимальной, символическое значение этой демонстрации превышает ее непосредственную полезность. Она доказывает, что запуск крупномасштабных моделей локально на смартфонах является жизнеспособным путем.
Улучшенная конфиденциальность: Локальная обработка гарантирует, что данные остаются на устройстве, исключая необходимость загрузки в облако и обеспечивая более высокий уровень конфиденциальности.
Работа без подключения к интернету: Получение ответов от продвинутых ИИ-систем без подключения к сети становится все более реалистичным.
Qianwen Creation представляет 7-дневную подписку с 200 баллами и инструментами ускоренного доступа для путешествий и фотографии
Qwen Create официально представила 7-дневный план подписки, предназначенный для оперативных и легких задач по созданию контента с помощью ИИ, включая путешествия, маркетинг мероприятий и социальные сети. После покупки пользователи получают 200 баллов
iOS 27.2 Beta приносит масштабное обновление приложения «Здоровье», а Siri расширяет поддержку до пяти языков
Компания Apple только что выпустила первую бета-версию iOS 27.2 для разработчиков. Пропустив ожидаемый этап тестирования iOS 27.1, Apple напрямую запустила цикл тестирования версии 27.2 16 сентября, одновременно выпустив начальные бета-версии для iOS
Ван Чанху из ByteDance привлек $1,35 млрд за 6 месяцев, обеспечив оценку в миллиард долларов
В быстро развивающейся сфере генерации видео с помощью искусственного интеллекта Ван Чанху выделяется как ключевая фигура, за которой стоит следить. Будучи бывшим руководителем направления визуальных технологий в ByteDance и основателем и генеральным











