NvidiaはGen AI Benchmarksを支配し、2つのライバルAIチップを上回る

Nvidiaの汎用GPUチップは、人工知能のパフォーマンスを評価する最も広く認知されたベンチマークの1つで再び優位に立ち、今回は大規模言語モデル（LLM）などの生成AIアプリケーションに焦点を当てました。競争は比較的一方的でした。

SuperMicro、Hewlett Packard Enterprise、Lenovoなどの企業によるシステムは、それぞれ最大8つのNvidiaチップを搭載し、業界コンソーシアムであるMLCommonsが主催するMLPerfベンチマークテストで上位のほとんどの位置を確保しました。このテストは、機械がトークンを生成したり、クエリを処理したり、データサンプルを出力する速度（AI推論として知られています）を測定するもので、これまでに行われた一連の予測作成ベンチマークの5回目でした。

今回のMLPerfベンチマークの最新版には、一般的な生成AIタスクに合わせた新しいテストが含まれていました。1つのテストは、MetaのオープンソースLLMであるLlama 3.1 405bのパフォーマンスを評価しました。このモデルは、分野で広く使用されている大規模なモデルです。別のテストでは、Metaの小型モデルLlama 2 70bの対話型バージョンが導入され、応答時間が重要なチャットボットの対話をシミュレートするように設計されました。このテストは特に、システムが最初の出力トークンを生成する速度を測定し、ユーザーのプロンプトに対する迅速な応答の必要性を反映しています。

3番目の新しいテストは、グラフニューラルネットワークの処理速度を評価しました。このネットワークは、ソーシャルネットワークのようなエンティティ間の複雑な関係を処理します。これらのネットワークは、GoogleのDeepMindユニットが2021年にタンパク質折り畳み予測で大きな進歩を遂げたAlphaFold 2モデルでグラフネットを使用した例に見られるように、生成AIでますます重要になっています。さらに、4番目のテストは、既存のオープンソース技術からMLCommonsが開発したカスタムニューラルネットを使用して、LiDARセンシングデータを自動車の道路地図にコンパイルする速度を測定しました。

MLPerfコンペティションには、Lenovo、HPEなどが構築したコンピューターが参加し、ニューラルネット出力の正確性に関する厳格な要件を遵守しています。各システムは、1秒あたりの出力生成の最高速度を報告し、一部のベンチマークでは平均遅延、つまりサーバーから応答が返ってくるまでの時間を測定します。

NvidiaのGPUは、ソフトウェア設定ルールが最も厳格なクローズドディビジョン内のほぼすべてのテストで優れていました。

しかし、AMDはMI300X GPUを使用して、Llama 2 70bの2つのテストで最高スコアを獲得し、1秒あたり103,182トークンを達成しました。これはNvidiaの新しいBlackwell GPUよりも大幅に優れていました。この勝利を収めたAMDシステムは、GPUラック間のデータ転送を強化するプラグインカードを専門とするスタートアップMangoBoostによって組み立てられ、生成AIのパフォーマンスを向上させるために設計された彼らのソフトウェアLLMboostを使用しました。

Nvidiaは、AMDの結果とBlackwellのスコアの比較に異議を唱え、各システムで使用されたチップとコンピューター「ノード」の数を調整する必要があると指摘しました。Nvidiaの加速コンピューティング製品ディレクターであるDave Salvatorは、ZDNETへのメールで次のように強調しました：

「MangoBoostの結果は、NVIDIAの結果に対する正確なパフォーマンス比較を反映していません。AMDのテストでは、GPUの数が4倍の32 MI300X GPUを使用しましたが、NVIDIAの提出物よりも3.83%高い結果しか達成していません。NVIDIAの8x B200提出物は、Llama 2 70Bサーバー提出物でMangoBoostのx32 AMD MI300X GPUを実際には上回りました。」

Googleも競争に参加し、社内のTensor Processing Unit（TPU）の6番目のバージョンであるTrilliumチップを披露しました。しかし、Stable Diffusion画像生成テストのクエリ応答速度を測定するテストでは、NvidiaのBlackwellに大きく遅れをとりました。

最新のMLPerfベンチマークでは、以前のラウンドと比較してNvidiaに挑戦する競争相手が少なくなりました。過去に参加していたIntelのHabanaユニットやQualcommからの提出物が特に欠席していました。

それにもかかわらず、Intelには祝う理由がありました。データセンターのクローズドディビジョンでは、IntelのXeonマイクロプロセッサが上位11システムのうち7つを支え、AMDのEPYCサーバーマイクロプロセッサを上回り、AMDは3つの勝利にとどまりました。これはIntelにとって過去の年と比較して改善です。

11番目のトップパフォーマンスシステムは、Metaの大規模なLlama 3.1 405bを処理するタスクを担当し、IntelやAMDのマイクロプロセッサを使用せずにNvidiaによって構築されました。代わりに、NvidiaのBlackwell GPUと独自のGraceマイクロプロセッサを1つのパッケージに組み合わせた統合Grace-Blackwell 200チップを利用しました。