Nvidia domine les références Gen AI, surpassant deux puces AI rivales

Les puces GPU à usage général de NVIDIA ont à nouveau dominé l'une des références les plus reconnues pour évaluer les performances des puces dans l'intelligence artificielle, ce qui se concentre cette fois sur des applications d'IA génératives telles que les modèles de grandes langues (LLM). La compétition était relativement unilatérale.

Les systèmes de Supermicro, Hewlett Packard Enterprise, Lenovo et d'autres sociétés, chacun équipé de huit puces NVIDIA, ont assuré la majorité des meilleurs spots du test de référence MLPERF organisé par le MLCommons, un consortium de l'industrie. Ce test, qui mesure la vitesse à laquelle les machines peuvent produire des jetons, des requêtes de traitement ou des échantillons de données de sortie - connus sous forme d'inférence de l'IA - a été le cinquième d'une série de repères de prédiction qui ont été menés au fil des ans.

Cette dernière itération de la référence MLPERF comprenait de nouveaux tests adaptés aux tâches génératives d'IA courantes. Un test a évalué les performances des puces sur l'Open-source LLM de Meta, LLAMA 3.1 405B, un modèle substantiel largement utilisé sur le terrain. Un autre test a introduit une version interactive de la petite LLAMA 2 70B de Meta, conçue pour simuler les interactions Chatbot où le temps de réponse est crucial. Ce test mesure spécifiquement la rapidité avec laquelle le système peut générer le premier jeton de sortie, reflétant le besoin de réponses rapides aux invites utilisateur.

Un troisième nouveau test a évalué la vitesse du traitement des réseaux de neurones du graphique, qui génèrent des relations complexes entre les entités, comme celles d'un réseau social. Ces réseaux sont devenus de plus en plus essentiels dans l'IA générative, illustrés par l'utilisation par Google de l'unité DeepMind de Google dans son modèle Alphafold 2, qui a fait des progrès significatifs dans les prédictions de pliage des protéines en 2021. En outre, un quatrième test a évalué la vitesse à laquelle les données de sensibilisation du lidar peuvent être compilées dans une carte routière de l'automobile, en utilisant un filet neural personnalisé élaboré par Mlcommons existant.

La concurrence MLPERF implique des ordinateurs construits par Lenovo, HPE et autres, adhérant à des exigences strictes pour la précision des sorties neurales. Chaque système rapporte sa vitesse de pointe dans la production de sortie par seconde, certains repères mesurant la latence moyenne, ou le temps pris pour qu'une réponse revienne du serveur.

Les GPU de Nvidia ont excellé dans presque tous les tests de la division fermée, où les règles de configuration du logiciel sont les plus strictes.

Cependant, AMD, avec son GPU MI300X, a réclamé le score supérieur dans deux tests LLAMA 2 70B, atteignant 103 182 jetons par seconde, ce qui était significativement meilleur que le nouveau GPU Blackwell de Nvidia. Ce système AMD gagnant a été assemblé par Mangoboost, une startup spécialisée dans les cartes de plug-in qui améliorent le transfert de données entre les racks GPU, et LLMBOost, leur logiciel conçu pour améliorer les performances génératrices de l'IA.

Nvidia a contesté la comparaison des résultats d'AMD à leurs scores Blackwell, soulignant la nécessité de s'adapter au nombre de puces et de "nœuds" utilisés dans chaque système. Dave Salvator, directeur des produits informatiques accélérés de Nvidia, a souligné dans un e-mail à ZDNET:

"Les résultats de Mangoboost ne reflètent pas une comparaison précise des performances avec les résultats de NVIDIA. Les tests d'AMD ont appliqué 4x le nombre de GPU - 32 mi300x GPU - contre 8 Nvidia B200S, mais n'a toujours obtenu un résultat de 3,83% plus élevé que la soumission Nvidia. GPUS dans la soumission du serveur LLAMA 2 70B. "

Google est également entré dans la compétition, présentant sa puce de trillium, la sixième itération de son unité de traitement du tenseur en interne (TPU). Cependant, il a considérablement pris du retard sur Blackwell de NVIDIA dans un test de la vitesse de réponse de la requête de la requête pour le test de génération d'image de diffusion stable.

Les dernières références MLPERF ont vu moins de concurrents remettre en question NVIDIA par rapport aux tours précédents. Notamment absent étaient les soumissions de l'unité Habana d'Intel et de Qualcomm, qui avaient tous deux participé aux années passées.

Malgré cela, Intel avait des raisons de célébrer. Dans la division clôturée du centre de données, le microprocesseur Xeon d'Intel a propulsé sept des 11 meilleurs systèmes, surperformant le microprocesseur du serveur EPYC d'AMD, qui n'a remporté que trois victoires. Cela marque une amélioration pour Intel par rapport aux années précédentes.

Le 11e système le plus performant, chargé de traiter le traitement massif de Meta 3.1 405b, a été construit par NVIDIA sans utiliser de microprocesseur Intel ou AMD. Au lieu de cela, il a utilisé la puce Grace-Blackwell 200 intégrée, combinant Blackwell GPU de Nvidia avec son propre microprocesseur Grace dans un seul paquet.