Nvidia доминирует в тестах ИИ, но Intel предлагает значительную конкуренцию

Последний раунд тестов скорости обучения нейронных сетей, опубликованный во вторник консорциумом MLCommons, вновь признал Nvidia лидером во всех категориях тестов MLPerf. Поскольку ключевые конкуренты, такие как Google, Graphcore и Advanced Micro Devices, в этом раунде не участвовали, победа Nvidia была полной и безоговорочной.

Однако подразделение Intel Habana показало значительные результаты с чипом Gaudi2, демонстрируя конкурентное преимущество. Intel смело пообещала превзойти флагманский графический процессор Nvidia H100 к этой осени.

Бенчмарк MLPerf Training версии 3.0 оценивает время, необходимое для настройки "весов" или параметров нейронной сети для достижения заданного уровня точности для конкретной задачи, процесс, известный как "обучение". Эта версия теста включает восемь различных задач, измеряющих время, необходимое для доработки нейронной сети через множество экспериментов. Это один из аспектов производительности нейронных сетей, второй — "вывод", когда обученная сеть делает прогнозы на основе новых данных. Производительность вывода оценивается MLCommons отдельно.

В дополнение к обучению на серверах MLCommons представила бенчмарк MLPerf Tiny версии 1.1, который оценивает производительность на устройствах с ультранизким энергопотреблением для выполнения прогнозов.

Nvidia лидировала во всех восьми тестах, достигнув самых быстрых времен обучения. Были введены две новые задачи, включая одну для большой языковой модели GPT-3 от OpenAI. Ажиотаж вокруг генеративного AI, вызванный популярностью ChatGPT, сделал эту задачу ключевой. Nvidia в сотрудничестве с CoreWeave заняла лидирующую позицию в задаче GPT-3, используя систему с 896 процессорами Intel Xeon и 3584 графическими процессорами Nvidia H100. Эта система, работающая на фреймворке Nvidia NeMO, смогла обучить модель, используя набор данных Colossal Cleaned Common Crawl, за чуть менее одиннадцати минут. В тесте использовалась "большая" версия GPT-3 с 175 миллиардами параметров, ограниченная 0,4% полного набора данных для обучения, чтобы сохранить управляемое время выполнения.

Еще одним нововведением стал расширенный тест рекомендательных систем, теперь использующий более крупный набор данных объемом четыре терабайта, названный Criteo 4TB multi-hot, который заменил устаревший набор данных объемом один терабайт. MLCommons отметила увеличивающийся масштаб производственных рекомендательных моделей с точки зрения размера, вычислительной мощности и операций с памятью.

Единственным другим конкурентом в области AI-чипов была компания Intel Habana, которая представила пять заявок с использованием ускорителя Gaudi2 и одну от SuperMicro с тем же чипом. Эти заявки охватывали четыре из восьми задач, но значительно отставали от лучших систем Nvidia. Например, в тесте BERT Wikipedia Habana заняла пятое место, затратив две минуты по сравнению с восемью секундами Nvidia-CoreWeave с системой из 3072 графических процессоров.

Тем не менее, Джордан Плаунер, руководитель направления AI-продуктов Intel, в интервью ZDNET подчеркнул, что для систем схожего масштаба разрыв в производительности между Habana и Nvidia может быть не столь критичным для многих компаний. Он отметил, что система Habana с восемью устройствами и двумя процессорами Intel Xeon выполнила задачу BERT Wikipedia чуть более чем за 14 минут, опередив множество заявок с большим количеством графических процессоров Nvidia A100.

Плаунер подчеркнул экономическую эффективность Gaudi2, цена которого сопоставима с Nvidia A100, но предлагает лучшее соотношение цены и качества для обучения. Он также упомянул, что Nvidia использовала формат данных FP-8 в своих заявках, тогда как Habana использовала формат BF-16, который, несмотря на более высокую точность, немного замедляет обучение. Плаунер ожидает, что переход на FP-8 позже в этом году повысит производительность Gaudi2, потенциально превзойдя Nvidia H100.

Он подчеркнул необходимость альтернативы Nvidia, особенно с учетом текущих ограничений поставок графических процессоров Nvidia. Клиенты, разочарованные задержками, все чаще открыты для альтернатив, таких как Gaudi2, что может позволить им запускать сервисы без ожидания комплектующих Nvidia.

Позиция Intel как второго по величине производителя чипов в мире после Taiwan Semiconductor дает ей стратегическое преимущество в контроле над цепочкой поставок. Плаунер намекнул на планы Intel создать кластер из нескольких тысяч Gaudi2, что предполагает потенциального сильного конкурента в будущих тестах MLPerf.

Это второй квартал подряд, когда ни один другой производитель чипов не бросил вызов лидирующей позиции Nvidia в тестах обучения. Год назад Google разделяла первое место с Nvidia, используя свой TPU, но в последнем раунде Google и Graphcore отсутствовали, сосредоточившись на своем бизнесе вместо соревнований по бенчмаркам.

Директор MLCommons Дэвид Кантер выразил желание видеть больше участников, отметив, что более широкое участие приносит пользу индустрии. Google и AMD не ответили на запросы о причинах их отсутствия в этом раунде. Интересно, что процессоры AMD использовались в конкурирующих системах, но все выигрышные системы Nvidia использовали процессоры Intel Xeon, что указывает на сдвиг по сравнению с прошлогодним доминированием процессоров AMD EPYC с выпуском Intel Sapphire Rapids.

Несмотря на отсутствие некоторых крупных игроков, тесты MLPerf продолжают привлекать новых участников, включая CoreWeave, IEI и Quanta Cloud Technology, демонстрируя продолжающийся интерес и конкуренцию в области производительности AI-чипов.