Nvidia dominiert Gen AI -Benchmarks und übertrifft zwei konkurrierende AI -Chips

NVIDIAs Allzweck-GPU-Chips von NVIDIA haben erneut eines der am weitesten verbreiteten Benchmarks für die Beurteilung der Chipleistung in der künstlichen Intelligenz dominiert. Diesmal konzentriert sich diese Zeit auf generative AI-Anwendungen wie große Sprachmodelle (LLMs). Der Wettbewerb war relativ einseitig.

Systeme von Supermicro, Hewlett Packard Enterprise, Lenovo und anderen Unternehmen, die jeweils mit bis zu acht NVIDIA -Chips ausgestattet waren, sicherten sich den größten Teil der Top -Stellen im MLPERF -Benchmark -Test, das von den MLCommons, einem Branchenkonsortium, organisiert wurde. Dieser Test, der die Geschwindigkeit misst, mit der Maschinen Token, Prozessabfragen oder Ausgabedatenproben erstellen können-als KI-Inferenz bekannt-war der fünfte in einer Reihe von Vorhersagemaschinen, die im Laufe der Jahre durchgeführt wurden.

Diese neueste Iteration des MLPERF -Benchmarks umfasste neue Tests, die auf gemeinsame generative KI -Aufgaben zugeschnitten waren. Ein Test bewertete die Leistung von Chips auf den Open-Source LLM, LLAM 3.1 405B von Meta, einem wesentlichen Modell, das vor Ort weit verbreitet ist. Ein weiterer Test führte eine interaktive Version von Metas kleinerem Lama 2 70b ein, mit dem Chatbot -Interaktionen simulieren konnten, bei denen die Reaktionszeit von entscheidender Bedeutung ist. Dieser Test misst spezifisch, wie schnell das System das erste Ausgangsmarke erzeugen kann, was die Notwendigkeit schneller Antworten auf Benutzeranforderungen widerspiegelt.

In einem dritten neuen Test wurde die Geschwindigkeit von Verarbeitungsgraphen neuronale Netze bewertet, die komplexe Beziehungen zwischen Unternehmen wie denjenigen in einem sozialen Netzwerk behandeln. These networks have become increasingly vital in generative AI, exemplified by Google's DeepMind unit's use of graph nets in its AlphaFold 2 model, which made significant strides in protein-folding predictions in 2021. Additionally, a fourth test gauged the speed at which LiDAR sensing data can be compiled into an automobile's road map, using a custom neural net developed by MLCommons from existing open-source technologies.

Der MLPERF -Wettbewerb umfasst Computer, die von Lenovo, HPE und anderen erstellt wurden und die strengen Anforderungen für die Genauigkeit neuronaler Nettoausgaben einhalten. Jedes System meldet seine Höchstgeschwindigkeit bei der Erzeugung der Ausgabe pro Sekunde, wobei einige Benchmarks die durchschnittliche Latenz messen oder die Zeit für eine Antwort benötigt, um vom Server zurückzukehren.

Der GPUs von NVIDIA hat sich in fast allen Tests innerhalb der geschlossenen Abteilung hervorgetan, in denen die Software -Setup -Regeln das strengste sind.

AMD erzielte jedoch mit seiner MI300X -GPU die Top -Punktzahl in zwei Lama 2 70B -Tests und erzielte 103.182 Token pro Sekunde, was signifikant besser war als die neuere Blackwell -GPU von Nvidia. Dieses gewinnende AMD-System wurde von Mangoboost zusammengestellt, einem Startup, das sich auf Plug-in-Karten spezialisiert hat, die die Datenübertragung zwischen GPU-Racks verbessern, und LLMBOOST, deren Software zur Verbesserung der generativen KI-Leistung entwickelt wurde.

Nvidia bestritt den Vergleich der Ergebnisse von AMD mit ihren Blackwell -Ergebnissen und wies darauf hin, dass die Anzahl der in jedem System verwendeten Chips und Computer -Knoten angepasst werden müsste. Dave Salvator, NVIDIA -Direktor für beschleunigte Computerprodukte, betonte in einer E -Mail an ZDNET:

"Die Ergebnisse von Mangoboost spiegeln keinen genauen Leistungsvergleich mit den Ergebnissen von Nvidia wider. AMDs Tests 4x Die Anzahl der GPUs - 32 mi300x GPUs - gegen 8 Nvidia B200S, doch nur ein 3,83% höheres Ergebnis als Nvidia -Einreichung. GPUs in der Einreichung von LLAMA 2 70B Server. "

Google trat auch in den Wettbewerb ein und präsentierte seinen Trillium-Chip, die sechste Iteration seiner internen Tensor-Verarbeitungseinheit (TPU). Es blieb jedoch in einem Test, der die Reaktionsgeschwindigkeit der Abfrage für den stabilen Diffusionsbild-Generationstest misst, signifikant hinter dem Blackwell von Nvidia zurück.

Bei den neuesten MLPERF -Benchmarks wurden weniger Konkurrenten im Vergleich zu früheren Runden die Nvidia in Frage gestellt. Bemerkenswerterweise waren Einsendungen der Habana -Einheit von Intel und Qualcomm, die beide in den vergangenen Jahren teilgenommen hatten.

Trotzdem hatte Intel Grund zu feiern. In der geschlossenen Abteilung für Rechenzentrum führte der Xeon -Mikroprozessor von Intel sieben der 11 Top -Systeme aus und übertraf AMDs EPYC -Server -Mikroprozessor, das nur drei Siege sicherte. Dies markiert eine Verbesserung für Intel im Vergleich zu den Vorjahren.

Das 11. Top-Performing-System, das mit der Verarbeitung von massiven Lama 3.1 405b von Meta beauftragt wurde, wurde von Nvidia ohne Verwendung eines Intel- oder AMD-Mikroprozessors erstellt. Stattdessen verwendete es den integrierten Grace-Blackwell 200-Chip und kombinierte die Blackwell-GPU von Nvidia mit einem eigenen Grace-Mikroprozessor in einem einzigen Paket.