Nvidia domine les références Gen AI, surpassant deux puces AI rivales

Les puces GPU à usage général de Nvidia ont une fois de plus dominé l'un des benchmarks les plus reconnus pour évaluer les performances des puces en intelligence artificielle, cette fois en se concentrant sur les applications d'IA générative telles que les grands modèles de langage (LLMs). La compétition était relativement déséquilibrée.

Les systèmes de SuperMicro, Hewlett Packard Enterprise, Lenovo et d'autres entreprises, chacun équipé de jusqu'à huit puces Nvidia, ont sécurisé la majorité des premières places dans le test de benchmark MLPerf organisé par le MLCommons, un consortium industriel. Ce test, qui mesure la vitesse à laquelle les machines peuvent produire des tokens, traiter des requêtes ou générer des échantillons de données — connu sous le nom d'inférence en IA — était le cinquième d'une série de benchmarks de prédiction réalisés au fil des années.

Cette dernière itération du benchmark MLPerf comprenait de nouveaux tests adaptés aux tâches courantes d'IA générative. Un test évaluait les performances des puces sur le LLM open-source de Meta, Llama 3.1 405b, un modèle substantiel largement utilisé dans le domaine. Un autre test introduisait une version interactive du plus petit Llama 2 70b de Meta, conçue pour simuler des interactions de chatbot où le temps de réponse est crucial. Ce test mesure spécifiquement la rapidité avec laquelle le système peut générer le premier token de sortie, reflétant le besoin de réponses rapides aux invites des utilisateurs.

Un troisième nouveau test évaluait la vitesse de traitement des réseaux neuronaux de graphes, qui gèrent des relations complexes entre entités, comme celles d'un réseau social. Ces réseaux sont devenus de plus en plus vitaux dans l'IA générative, comme en témoigne l'utilisation des réseaux de graphes par l'unité DeepMind de Google dans son modèle AlphaFold 2, qui a réalisé des avancées significatives dans les prédictions de repliement des protéines en 2021. De plus, un quatrième test mesurait la vitesse à laquelle les données de détection LiDAR peuvent être compilées dans une carte routière pour automobile, en utilisant un réseau neuronal personnalisé développé par MLCommons à partir de technologies open-source existantes.

La compétition MLPerf impliquait des ordinateurs construits par Lenovo, HPE et d'autres, respectant des exigences strictes pour la précision des sorties des réseaux neuronaux. Chaque système rapporte sa vitesse maximale en production de sortie par seconde, certains benchmarks mesurant la latence moyenne, ou le temps pris pour qu'une réponse revienne du serveur.

Les GPU de Nvidia ont excellé dans presque tous les tests de la division fermée, où les règles de configuration logicielle sont les plus strictes.

Cependant, AMD, avec son GPU MI300X, a revendiqué le meilleur score dans deux tests Llama 2 70b, atteignant 103 182 tokens par seconde, ce qui était significativement meilleur que le GPU Blackwell plus récent de Nvidia. Ce système AMD gagnant a été assemblé par MangoBoost, une startup spécialisée dans les cartes enfichables qui améliorent le transfert de données entre les racks de GPU, et LLMboost, leur logiciel conçu pour améliorer les performances de l'IA générative.

Nvidia a contesté la comparaison des résultats d'AMD avec leurs scores Blackwell, soulignant la nécessité d'ajuster en fonction du nombre de puces et de "nœuds" informatiques utilisés dans chaque système. Dave Salvator, directeur des produits de calcul accéléré chez Nvidia, a souligné dans un courriel à ZDNET :

"Les résultats de MangoBoost ne reflètent pas une comparaison de performance précise avec les résultats de NVIDIA. Les tests d'AMD ont utilisé 4 fois plus de GPU – 32 GPU MI300X – contre 8 NVIDIA B200, et pourtant ils n'ont obtenu qu'un résultat supérieur de 3,83 % à la soumission de NVIDIA. La soumission 8x B200 de NVIDIA a en fait surpassé les 32 GPU MI300X d'AMD de MangoBoost dans la soumission serveur Llama 2 70B."

Google a également participé à la compétition, mettant en avant sa puce Trillium, la sixième itération de son unité de traitement tensoriel (TPU) développée en interne. Cependant, elle était significativement à la traîne par rapport au Blackwell de Nvidia dans un test mesurant la vitesse de réponse aux requêtes pour le test de génération d'images Stable Diffusion.

Les derniers benchmarks MLPerf ont vu moins de concurrents défier Nvidia par rapport aux tours précédents. Notamment absents étaient les soumissions de l'unité Habana d'Intel et de Qualcomm, qui avaient participé les années précédentes.

Malgré cela, Intel avait des raisons de célébrer. Dans la division fermée des centres de données, le microprocesseur Xeon d'Intel a alimenté sept des onze meilleurs systèmes, surpassant le microprocesseur de serveur EPYC d'AMD, qui n'a obtenu que trois victoires. Cela marque une amélioration pour Intel par rapport aux années précédentes.

Le onzième système le plus performant, chargé de traiter le massif Llama 3.1 405b de Meta, a été construit par Nvidia sans utiliser de microprocesseur Intel ou AMD. À la place, il a utilisé la puce intégrée Grace-Blackwell 200, combinant le GPU Blackwell de Nvidia avec son propre microprocesseur Grace dans un seul paquet.