Nvidia dominiert Gen AI -Benchmarks und übertrifft zwei konkurrierende AI -Chips

Nvidias Allzweck-GPU-Chips haben erneut einen der bekanntesten Benchmarks zur Bewertung der Chip-Leistung in der künstlichen Intelligenz dominiert, diesmal mit Fokus auf generative KI-Anwendungen wie große Sprachmodelle (LLMs). Der Wettbewerb war relativ einseitig.

Systeme von SuperMicro, Hewlett Packard Enterprise, Lenovo und anderen Unternehmen, jeweils mit bis zu acht Nvidia-Chips ausgestattet, sicherten sich die Mehrheit der Spitzenplätze im MLPerf-Benchmark-Test, der von MLCommons, einem Industriekonsortium, organisiert wurde. Dieser Test, der die Geschwindigkeit misst, mit der Maschinen Tokens generieren, Abfragen verarbeiten oder Datensätze ausgeben können – bekannt als KI-Inferenz – war der fünfte in einer Reihe von Vorhersage-Benchmarks, die über die Jahre durchgeführt wurden.

Diese neueste Iteration des MLPerf-Benchmarks umfasste neue Tests, die auf gängige generative KI-Aufgaben zugeschnitten waren. Ein Test bewertete die Leistung von Chips auf Metas Open-Source-LLM, Llama 3.1 405b, ein umfangreiches Modell, das in diesem Bereich weit verbreitet ist. Ein weiterer Test führte eine interaktive Version von Metas kleinerem Llama 2 70b ein, entwickelt, um Chatbot-Interaktionen zu simulieren, bei denen die Reaktionszeit entscheidend ist. Dieser Test misst speziell, wie schnell das System das erste Token der Ausgabe generieren kann, was die Notwendigkeit schneller Antworten auf Benutzeranfragen widerspiegelt.

Ein dritter neuer Test bewertete die Geschwindigkeit der Verarbeitung von Graph-Neuralnetzen, die komplexe Beziehungen zwischen Entitäten verarbeiten, wie etwa in einem sozialen Netzwerk. Diese Netzwerke sind in der generativen KI immer wichtiger geworden, beispielhaft durch die Nutzung von Graph-Netzen durch Googles DeepMind-Einheit in ihrem AlphaFold 2-Modell, das 2021 bedeutende Fortschritte bei der Vorhersage von Protein-Faltungen gemacht hat. Zusätzlich bewertete ein vierter Test die Geschwindigkeit, mit der LiDAR-Sensordaten in die Straßenkarte eines Autos kompiliert werden können, unter Verwendung eines benutzerdefinierten Neuralnetzes, das von MLCommons aus bestehenden Open-Source-Technologien entwickelt wurde.

Der MLPerf-Wettbewerb umfasst Computer, die von Lenovo, HPE und anderen gebaut wurden und strenge Anforderungen an die Genauigkeit der Ausgaben von Neuralnetzen erfüllen. Jedes System meldet seine Höchstgeschwindigkeit bei der Erzeugung von Ausgaben pro Sekunde, wobei einige Benchmarks die durchschnittliche Latenzzeit messen, also die Zeit, die für eine Antwort vom Server benötigt wird.

Nvidias GPUs glänzten in fast allen Tests der geschlossenen Division, wo die Regeln für die Software-Einrichtung am strengsten sind.

Allerdings erzielte AMD mit seinem MI300X GPU die Höchstpunktzahl in zwei Llama 2 70b-Tests und erreichte 103.182 Token pro Sekunde, was deutlich besser war als Nvidias neuerer Blackwell-GPU. Dieses siegreiche AMD-System wurde von MangoBoost zusammengestellt, einem Startup, das sich auf Plug-in-Karten spezialisiert hat, die den Datentransfer zwischen GPU-Racks verbessern, und LLMboost, ihrer Software zur Verbesserung der Leistung generativer KI.

Nvidia stellte den Vergleich der AMD-Ergebnisse mit ihren Blackwell-Werten infrage und wies auf die Notwendigkeit hin, die Anzahl der verwendeten Chips und Computer-"Knoten" in jedem System zu berücksichtigen. Dave Salvator, Nvidias Direktor für beschleunigte Rechenprodukte, betonte in einer E-Mail an ZDNET:

"Die Ergebnisse von MangoBoost spiegeln keinen genauen Leistungsvergleich mit den Ergebnissen von NVIDIA wider. Die Tests von AMD verwendeten die vierfache Anzahl an GPUs – 32 MI300X GPUs – im Vergleich zu 8 NVIDIA B200s, erzielten aber dennoch nur ein um 3,83 % besseres Ergebnis als die NVIDIA-Einreichung. Die 8x B200-Einreichung von NVIDIA übertraf tatsächlich die x32 AMD MI300X GPUs von MangoBoost in der Llama 2 70B Server-Einreichung."

Google nahm ebenfalls am Wettbewerb teil und präsentierte seinen Trillium-Chip, die sechste Iteration seiner hauseigenen Tensor Processing Unit (TPU). Er lag jedoch in einem Test, der die Geschwindigkeit der Abfrageantwort für den Stable Diffusion Bildgenerierungstest misst, deutlich hinter Nvidias Blackwell zurück.

Die neuesten MLPerf-Benchmarks sahen weniger Wettbewerber, die Nvidia herausforderten, im Vergleich zu früheren Runden. Auffallend abwesend waren Einreichungen von Intels Habana-Einheit und Qualcomm, die beide in den Vorjahren teilgenommen hatten.

Trotzdem hatte Intel Grund zum Feiern. In der geschlossenen Division der Rechenzentren trieben Intels Xeon-Mikroprozessoren sieben der elf besten Systeme an und übertrafen AMDs EPYC-Server-Mikroprozessor, der nur drei Siege errang. Dies markiert eine Verbesserung für Intel im Vergleich zu früheren Jahren.

Das elfte leistungsstärkste System, das mit der Verarbeitung von Metas massivem Llama 3.1 405b beauftragt war, wurde von Nvidia ohne Verwendung eines Intel- oder AMD-Mikroprozessors gebaut. Stattdessen nutzte es den integrierten Grace-Blackwell 200-Chip, der Nvidias Blackwell-GPU mit seinem eigenen Grace-Mikroprozessor in einem einzigen Paket kombiniert.