Nvidia domine les repères de l'IA, mais Intel offre une concurrence importante

Les derniers benchmarks de vitesse d'entraînement des réseaux neuronaux, publiés mardi par le consortium industriel MLCommons, ont une fois de plus couronné Nvidia comme le meilleur performeur dans toutes les catégories des tests MLPerf. Avec des concurrents clés comme Google, Graphcore et Advanced Micro Devices absents de cette série, le triomphe de Nvidia a été total et incontesté.

Cependant, la division Habana d'Intel a réalisé une performance significative avec sa puce Gaudi2, signalant un avantage compétitif. Intel a audacieusement promis de surpasser le GPU phare H100 de Nvidia d'ici cet automne.

Le benchmark MLPerf Training version 3.0 se concentre sur le temps requis pour ajuster les « poids » ou paramètres d’un réseau neuronal afin d’atteindre un niveau de précision défini pour une tâche spécifique, un processus connu sous le nom d’« entraînement ». Cette version du test englobe huit tâches différentes, mesurant la durée nécessaire pour affiner un réseau neuronal à travers plusieurs expériences. C’est un aspect de la performance des réseaux neuronaux, l’autre étant « l’inférence », où le réseau entraîné effectue des prédictions sur de nouvelles données. La performance d’inférence est évaluée séparément par MLCommons.

En plus de l’entraînement basé sur serveur, MLCommons a introduit le benchmark MLPerf Tiny version 1.1, qui évalue les performances sur des dispositifs à ultra-basse consommation pour effectuer des prédictions.

Nvidia a dominé les huit tests, obtenant les temps d’entraînement les plus rapides. Deux nouvelles tâches ont été introduites, dont une pour le grand modèle de langage GPT-3 d’OpenAI (LLM). La frénésie autour de l’IA générative, déclenchée par la popularité de ChatGPT, en a fait un point central. Nvidia, en collaboration avec CoreWeave, a pris la tête dans la tâche GPT-3, utilisant un système alimenté par 896 processeurs Intel Xeon et 3 584 GPU H100 de Nvidia. Ce système, fonctionnant sur le framework NeMO de Nvidia, a réussi à s’entraîner avec le jeu de données Colossal Cleaned Common Crawl en un peu moins de onze minutes. Le test a utilisé une version « large » de GPT-3 avec 175 milliards de paramètres, limitée à 0,4 % de l’ensemble d’entraînement complet pour maintenir un temps d’exécution gérable.

Une autre nouveauté était une version étendue du test des moteurs de recommandation, utilisant désormais un jeu de données plus large de quatre téraoctets appelé Criteo 4TB multi-hot, remplaçant l’ancien jeu de données d’un téraoctet. MLCommons a noté l’échelle croissante des modèles de recommandation en production en termes de taille, de puissance de calcul et d’opérations de mémoire.

Le seul autre concurrent dans le domaine des puces IA était Habana d’Intel, qui a soumis cinq candidatures utilisant son accélérateur Gaudi2 et une de SuperMicro utilisant la même puce. Ces candidatures couvraient quatre des huit tâches, mais restaient significativement en retard par rapport aux meilleurs systèmes de Nvidia. Par exemple, dans le test BERT Wikipedia, Habana s’est classé cinquième, prenant deux minutes contre huit secondes pour Nvidia-CoreWeave avec une configuration de 3 072 GPU.

Cependant, Jordan Plawner d’Intel, responsable des produits IA, a souligné dans une interview avec ZDNET que pour des systèmes de taille similaire, l’écart de performance entre Habana et Nvidia pourrait ne pas être aussi critique pour de nombreuses entreprises. Il a noté qu’un système Habana à 8 dispositifs avec deux processeurs Intel Xeon a complété la tâche BERT Wikipedia en un peu plus de 14 minutes, surpassant de nombreuses candidatures avec plus de GPU A100 de Nvidia.

Plawner a mis en avant la rentabilité de Gaudi2, dont le prix est comparable à celui du A100 de Nvidia mais offre un meilleur rapport qualité-prix pour l’entraînement. Il a également mentionné que, bien que Nvidia ait utilisé un format de données FP-8 dans ses soumissions, Habana a utilisé un format BF-16, qui, malgré sa précision plus élevée, ralentit légèrement l’entraînement. Plawner anticipe que le passage à FP-8 plus tard cette année améliorera les performances de Gaudi2, potentiellement en surpassant le H100 de Nvidia.

Il a souligné le besoin d’une alternative à Nvidia, surtout compte tenu des contraintes actuelles d’approvisionnement des GPU de Nvidia. Les clients, frustrés par les délais, sont de plus en plus ouverts à des alternatives comme Gaudi2, qui pourraient leur permettre de lancer des services sans attendre les pièces de Nvidia.

La position d’Intel en tant que deuxième plus grand fabricant de puces au monde, après Taiwan Semiconductor, lui confère un avantage stratégique dans le contrôle de sa chaîne d’approvisionnement. Plawner a laissé entendre qu’Intel prévoit de construire un cluster de plusieurs milliers de Gaudi2, suggérant un concurrent potentiel fort dans les futurs tests MLPerf.

Cela marque le deuxième trimestre consécutif où aucun autre fabricant de puces n’a défié la première place de Nvidia dans les tests d’entraînement. Il y a un an, Google partageait la première place avec Nvidia en utilisant son TPU, mais Google et Graphcore étaient absents de la dernière série, se concentrant sur leurs activités plutôt que sur les compétitions de benchmarks.

Le directeur de MLCommons, David Kanter, a exprimé le souhait de voir plus de participants, notant qu’un engagement plus large profite à l’industrie. Google et AMD n’ont pas répondu aux demandes concernant leur absence de cette série. Fait intéressant, bien que les CPU d’AMD aient été utilisés dans des systèmes concurrents, toutes les configurations gagnantes de Nvidia utilisaient des CPU Intel Xeon, signalant un changement par rapport à la domination de l’année précédente par les processeurs EPYC d’AMD avec la sortie des Sapphire Rapids d’Intel.

Malgré l’absence de certains grands noms, les tests MLPerf continuent d’attirer de nouveaux entrants, y compris CoreWeave, IEI et Quanta Cloud Technology, montrant l’intérêt et la compétition continus dans le domaine des performances des puces IA.