NVIDIA доминирует в критериях Gen AI, опережая две конкурирующие чипсы ИИ

Чипы GPU от NVIDIA вновь доминировали в одном из наиболее широко распознанных критериев для оценки производительности чипов в искусственном интеллекте, на этот раз сосредоточившись на генеративных приложениях ИИ, таких как модели крупных языков (LLMS). Конкуренция была относительно односторонней.

Системы из Supermicro, Hewlett Packard Enterprise, Lenovo и других компаний, каждая из которых оснащена до восьми чипов NVIDIA, обеспечили большинство лучших мест в тесте MLPERF, организованном MLCommons, отраслевым консорциумом. Этот тест, который измеряет скорость, с которой машины могут создавать токены, процессы запросов или выборочные образцы данных, известные как вывод AI, был пятым в серии показателей, создающих прогнозирование, которые проводились на протяжении многих лет.

Эта последняя итерация теста MLPERF включала новые тесты, адаптированные к общим генеративным задачам ИИ. Один тест оценил производительность чипов на LLM с открытым исходным кодом Meta, Llama 3.1 405b, существенную модель, широко используемая в этой области. Другой тест представил интерактивную версию меньшей Llama 2 70B от Meta, предназначенную для имитации взаимодействия чат -ботов, где время отклика имеет решающее значение. Этот тест конкретно измеряет, насколько быстро система может генерировать первый жетон вывода, отражая необходимость быстрых ответов на подсказки пользователей.

Третий новый тест оценил скорость обработки нейронных сетей графика, которые обрабатывают сложные отношения между организациями, такими как в социальной сети. Эти сети становятся все более жизненно важными в генеративном ИИ, примером которого является использование графических сетей Google в своей модели Alphafold 2, которая сделала значительные шаги в предсказаниях сделки белков в 2021 году. Кроме того, четвертая тестировая тестировая измельчивая скорость, с которыми можно составить на основе The Authorcile The Authobile, с использованием Neular Netmons, разработанных в Ml-Setmons.

Конкуренция MLPERF включает в себя компьютеры, построенные Lenovo, HPE и другими, придерживающиеся строгих требований к точности результатов нейронной сети. Каждая система сообщает о своей максимальной скорости при получении вывода в секунду, при этом некоторые тесты измеряют среднюю задержку или время, необходимое для ответа, чтобы вернуться с сервера.

Грубы Nvidia преуспели практически во всех тестах в закрытом подразделении, где правила настройки программного обеспечения являются самыми строгими.

Тем не менее, AMD, с его графическим процессором Mi300x, получил верхний балл в двух тестах Llama 2 70b, достигнув 103 182 жетонов в секунду, что было значительно лучше, чем новый графический процессор Nvidia Blackwell. Эта выигрышная система AMD была собрана Mangoboost, стартапом, специализирующимся на плагинах, которые улучшают передачу данных между стойками графического процессора, и LLMBoost, их программное обеспечение, предназначенное для повышения производительности генеративного искусственного интеллекта.

NVIDIA оспорила сравнение результатов AMD с их оценками Blackwell, указывая на необходимость корректировки количества чипов и компьютерных «узлов», используемых в каждой системе. Дейв Сальватор, директор Nvidia по ускоренным вычислительным продуктам, подчеркнуто в электронном письме ZDNet:

"Результаты Mangoboost не отражают точное сравнение производительности с результатами Nvidia. Тестирование AMD применяется в 4x. Число графических процессоров - 32 MI300X графических процессоров - против 8 NVIDIA B200, но все же только достигнуто 3,83%, чем подчинение Nvidia. Графические процессоры в представлении сервера Llama 2 70b. "

Google также вступил в конкурс, демонстрируя свой чип Trillium, шестую итерацию своего внутреннего блок обработки тензоров (TPU). Тем не менее, он значительно отставал от Blackwell Nvidia в тестовом измерении скорости отклика запросов для стабильного теста генерации изображения.

Последние тесты MLPERF видели меньше конкурентов, бросающих вызов NVIDIA по сравнению с предыдущими раундами. Примечательно отсутствовали заявки от подразделения Intel Habana и Qualcomm, оба из которых участвовали в прошлые годы.

Несмотря на это, у Intel была основания праздновать. В замкнутом разделении обработки данных DataCenter микропроцессор Intel Xeon работал в семи из 11 лучших систем, опередив микропроцессор Epyc Server AMD, который одержал только три победы. Это знаменует собой улучшение для Intel по сравнению с предыдущими годами.

11-я высокопроизводительная система, поставленная на обработку Meta Massive Llama 3.1 405B, была построена NVIDIA без использования микропроцессора Intel или AMD. Вместо этого он использовал интегрированный чип Grace-Blackwell 200, объединяя графический процессор Nvidia Blackwell с собственным микропроцессором Grace в одном пакете.