NVIDIA доминирует в критериях Gen AI, опережая две конкурирующие чипсы ИИ

Чипы общего назначения Nvidia GPU вновь доминировали в одном из наиболее признанных тестов производительности чипов в области искусственного интеллекта, на этот раз с акцентом на приложения генеративного ИИ, такие как большие языковые модели (LLM). Конкуренция была относительно односторонней.

Системы от SuperMicro, Hewlett Packard Enterprise, Lenovo и других компаний, каждая из которых оснащена до восьми чипами Nvidia, заняли большинство верхних позиций в тесте MLPerf, организованном консорциумом MLCommons. Этот тест, измеряющий скорость, с которой машины могут генерировать токены, обрабатывать запросы или выдавать выборки данных — известный как ИИ-инференс — стал пятым в серии тестов прогнозирования, проводимых на протяжении многих лет.

Эта последняя итерация теста MLPerf включала новые тесты, адаптированные под распространённые задачи генеративного ИИ. Один тест оценивал производительность чипов на открытой модели Meta LLM, Llama 3.1 405b, широко используемой в этой области. Другой тест представил интерактивную версию меньшей модели Meta Llama 2 70b, разработанную для симуляции взаимодействия с чат-ботами, где время ответа имеет решающее значение. Этот тест специально измеряет, как быстро система может сгенерировать первый токен ответа, отражая необходимость быстрого ответа на запросы пользователей.

Третий новый тест оценивал скорость обработки графовых нейронных сетей, которые обрабатывают сложные взаимосвязи между объектами, например, в социальной сети. Эти сети стали всё более важными в генеративном ИИ, примером чему служит использование графовых сетей подразделением Google DeepMind в модели AlphaFold 2, которая в 2021 году совершила значительный прорыв в предсказании сворачивания белков. Кроме того, четвёртый тест измерял скорость компиляции данных LiDAR в дорожную карту автомобиля с использованием специально разработанной нейронной сети, созданной MLCommons на основе существующих технологий с открытым исходным кодом.

Соревнование MLPerf включало компьютеры, построенные Lenovo, HPE и другими компаниями, соответствующие строгим требованиям к точности выходных данных нейронных сетей. Каждая система сообщала о своей максимальной скорости генерации выходных данных в секунду, при этом некоторые тесты измеряли среднюю задержку, или время, необходимое для получения ответа от сервера.

GPU Nvidia показали выдающиеся результаты почти во всех тестах в закрытом дивизионе, где правила настройки программного обеспечения наиболее строгие.

Однако AMD со своим GPU MI300X заняла первое место в двух тестах Llama 2 70b, достигнув 103 182 токенов в секунду, что значительно лучше, чем у нового GPU Nvidia Blackwell. Эта победная система AMD была собрана MangoBoost, стартапом, специализирующимся на дополнительных картах, которые улучшают передачу данных между стойками GPU, и их программным обеспечением LLMboost, разработанным для повышения производительности генеративного ИИ.

Nvidia оспаривала сравнение результатов AMD с их показателями Blackwell, указывая на необходимость корректировки с учётом количества используемых чипов и компьютерных "узлов" в каждой системе. Дэйв Салватор, директор Nvidia по продуктам ускоренных вычислений, подчеркнул в электронном письме ZDNET:

"Результаты MangoBoost не отражают точного сравнения производительности с результатами NVIDIA. Тестирование AMD использовало в 4 раза больше GPU — 32 MI300X GPU — против 8 NVIDIA B200, но при этом достигло лишь на 3,83% более высокого результата, чем у NVIDIA. Подача NVIDIA с 8x B200 фактически превзошла x32 AMD MI300X GPU от MangoBoost в тесте сервера Llama 2 70B."

Google также участвовала в соревновании, демонстрируя свой чип Trillium, шестую итерацию своего внутреннего процессора Tensor Processing Unit (TPU). Однако он значительно отстал от Blackwell от Nvidia в тесте, измеряющем скорость ответа на запросы в тесте генерации изображений Stable Diffusion.

В последних тестах MLPerf было меньше конкурентов, бросающих вызов Nvidia, по сравнению с предыдущими раундами. Заметно отсутствовали заявки от подразделения Intel Habana и Qualcomm, которые участвовали в прошлые годы.

Тем не менее, у Intel были поводы для радости. В закрытом дивизионе дата-центров микропроцессор Intel Xeon поддерживал семь из одиннадцати лучших систем, превосходя серверный микропроцессор AMD EPYC, который одержал лишь три победы. Это улучшение для Intel по сравнению с предыдущими годами.

Одиннадцатая по производительности система, выполнявшая обработку массивной модели Meta Llama 3.1 405b, была построена Nvidia без использования микропроцессоров Intel или AMD. Вместо этого она использовала интегрированный чип Grace-Blackwell 200, объединяющий GPU Blackwell от Nvidia с собственным микропроцессором Grace в одном корпусе.