Дом
Архитектура PHOTON от Fujitsu повышает производительность ИИ в 475 раз и устраняет узкие места в вычислительных процессах
По мере того как крупные модели продолжают стремительно развиваться, затраты на вычисления и эффективность обработки остаются ключевыми проблемами отрасли. Компания Fujitsu недавно представила инновационную архитектуру под названием PHOTON (Top-down Network Parallel Hierarchical Computing), разработанную для преодоления ограничений производительности традиционных моделей Transformer в сложных сценариях.
Архитектура Transformer, которая в настоящее время доминирует в сфере искусственного интеллекта, хорошо справляется с обработкой длинных текстов или задач с высокой степенью параллелизма и множеством запросов, но часто замедляется из-за частых обращений к памяти для извлечения исторической информации, что увеличивает нагрузку на графический процессор (GPU). Исследовательская команда Fujitsu решила эту проблему, переосмыслив дизайн архитектуры PHOTON.

Основное преимущество PHOTON заключается в подходе к иерархической обработке данных. Вместо сегментации на уровне токенов, используемой традиционными моделями Transformer, PHOTON вводит семантическое слоение, что снижает вычислительную сложность и одновременно повышает эффективность параллельных вычислений. Кроме того, при решении задач с несколькими запросами архитектура оптимизирует процесс принятия решений: для вывода достаточно одного вывода, при этом используются стратегии «голосования большинством» или «выбора лучшего варианта».
Результаты тестирования показывают, что в небольших моделях с 600 млн, 900 млн и 1,2 млрд параметров PHOTON обеспечивает очень высокую пропускную способность и чрезвычайно низкое потребление памяти. В модели с 1,2 млрд параметров производительность при обработке нескольких запросов достигает 475-кратного превосходства по сравнению с традиционными архитектурами Transformer, что значительно повышает эффективность планирования ресурсов.
Поскольку эта архитектура требует меньшего объема кэша «ключ-значение» (KV Cache) на одну итерацию, система может обрабатывать больше итераций. Это значительное повышение производительности для систем интеллектуальных агентов, управляющих множеством процессов ввода-вывода. Хотя по некоторым показателям качества наблюдается небольшой компромисс, скачок PHOTON в вычислительной эффективности делает его многообещающим техническим решением для снижения эксплуатационных затрат на ИИ.
В настоящее время Fujitsu активно продвигает применение данной архитектуры, стремясь обеспечить более лёгкую и эффективную базовую поддержку для будущих интеллектуальных сценариев за счёт инноваций в основных алгоритмах.
Связанная статья
ZTE и Tencent создают партнерство в области облачных технологий на базе искусственного интеллекта с функцией встроенного помощника
ZTE провела в Пекине День опыта использования ИИ-облачного компьютера, объявив о стратегическом партнерстве с Tencent для запуска нового ИИ-облачного компьютера с функцией Work Buddy от Tencent. Рынок отреагировал быстро: 4 июня акции ZTE на китайско
Wanxiang Shengsheng представляет недорогой инструмент для создания аудиокниг на базе ИИ по цене менее 8 юаней за 10 тысяч символов
Два месяца после публичной бета-версии компания Wanzhuang Yousheng официально запустила систему автоматизированного производства «Полностью автоматическое создание многослойных аудиокниг с использованием ИИ», функцию, которая уже завоевала доверие вл
Как исправить Core Web Vitals для улучшения позиций в поисковой выдаче
Как создавать красивые сайты с помощью ИИ и Google SitesСодержание:ВведениеОсвоение веб-дизайна и создания сайтов с помощью Google SitesРоль искусственного интеллекта в современном веб-дизайнеСоздание сайта с использованием шаблонов GoogleИспол
Рекомендации по связанным специальным темам
Комментарии (0)
По мере того как крупные модели продолжают стремительно развиваться, затраты на вычисления и эффективность обработки остаются ключевыми проблемами отрасли. Компания Fujitsu недавно представила инновационную архитектуру под названием PHOTON (Top-down Network Parallel Hierarchical Computing), разработанную для преодоления ограничений производительности традиционных моделей Transformer в сложных сценариях.
Архитектура Transformer, которая в настоящее время доминирует в сфере искусственного интеллекта, хорошо справляется с обработкой длинных текстов или задач с высокой степенью параллелизма и множеством запросов, но часто замедляется из-за частых обращений к памяти для извлечения исторической информации, что увеличивает нагрузку на графический процессор (GPU). Исследовательская команда Fujitsu решила эту проблему, переосмыслив дизайн архитектуры PHOTON.

Основное преимущество PHOTON заключается в подходе к иерархической обработке данных. Вместо сегментации на уровне токенов, используемой традиционными моделями Transformer, PHOTON вводит семантическое слоение, что снижает вычислительную сложность и одновременно повышает эффективность параллельных вычислений. Кроме того, при решении задач с несколькими запросами архитектура оптимизирует процесс принятия решений: для вывода достаточно одного вывода, при этом используются стратегии «голосования большинством» или «выбора лучшего варианта».
Результаты тестирования показывают, что в небольших моделях с 600 млн, 900 млн и 1,2 млрд параметров PHOTON обеспечивает очень высокую пропускную способность и чрезвычайно низкое потребление памяти. В модели с 1,2 млрд параметров производительность при обработке нескольких запросов достигает 475-кратного превосходства по сравнению с традиционными архитектурами Transformer, что значительно повышает эффективность планирования ресурсов.
Поскольку эта архитектура требует меньшего объема кэша «ключ-значение» (KV Cache) на одну итерацию, система может обрабатывать больше итераций. Это значительное повышение производительности для систем интеллектуальных агентов, управляющих множеством процессов ввода-вывода. Хотя по некоторым показателям качества наблюдается небольшой компромисс, скачок PHOTON в вычислительной эффективности делает его многообещающим техническим решением для снижения эксплуатационных затрат на ИИ.
В настоящее время Fujitsu активно продвигает применение данной архитектуры, стремясь обеспечить более лёгкую и эффективную базовую поддержку для будущих интеллектуальных сценариев за счёт инноваций в основных алгоритмах.
ZTE и Tencent создают партнерство в области облачных технологий на базе искусственного интеллекта с функцией встроенного помощника
ZTE провела в Пекине День опыта использования ИИ-облачного компьютера, объявив о стратегическом партнерстве с Tencent для запуска нового ИИ-облачного компьютера с функцией Work Buddy от Tencent. Рынок отреагировал быстро: 4 июня акции ZTE на китайско
Как исправить Core Web Vitals для улучшения позиций в поисковой выдаче
Как создавать красивые сайты с помощью ИИ и Google SitesСодержание:ВведениеОсвоение веб-дизайна и создания сайтов с помощью Google SitesРоль искусственного интеллекта в современном веб-дизайнеСоздание сайта с использованием шаблонов GoogleИспол











