NvidiaはGen AI Benchmarksを支配し、2つのライバルAIチップを上回る

Nvidiaの汎用GPUチップは、人工知能のチップ性能を評価するために最も広く認識されているベンチマークの1つを再び支配しました。今回は、大規模な言語モデル（LLMS）などの生成AIアプリケーションに焦点を当てています。競争は比較的一方的でした。

Supermicro、Hewlett Packard Enterprise、Lenovo、およびその他の企業のシステムは、それぞれ最大8つのNvidiaチップを装備し、MLCommonsが主催するMLPERFベンチマークテストのトップスポットの大部分を産業コンソーシアムで構成しました。このテストは、マシンがトークン、プロセスクエリ、またはAI推論として知られる出力データサンプルを生成できる速度を測定しました。

MLPERFベンチマークのこの最新のイテレーションには、一般的な生成AIタスクに合わせた新しいテストが含まれていました。 1つのテストでは、メタのオープンソースLLMであるLlama 3.1 405Bでのチップのパフォーマンスを評価しました。これは、この分野で広く使用されている実質的なモデルです。別のテストでは、応答時間が重要なチャットボットインタラクションをシミュレートするように設計されたMetaのSmall Lalama 2 70bのインタラクティブバージョンを導入しました。このテストは、ユーザープロンプトに対する迅速な応答の必要性を反映して、システムが出力の最初のトークンを生成する速さを具体的に測定します。

3番目の新しいテストでは、ソーシャルネットワークのようなエンティティ間の複雑な関係を処理するグラフネットワークの処理速度を評価しました。これらのネットワークは、GoogleのdeepmindユニットのAlphafold 2モデルでのグラフネットの使用によって例示される生成AIでますます重要になりました。これにより、2021年にタンパク質折りたたみ予測の大幅な進歩がありました。さらに、4番目のテストでは、Lidarのセンシングデータが既存のネットマップに編成される速度を開発できる速度を測定しました。

MLPERFコンペティションには、Lenovo、HPEなどが構築したコンピューターが含まれ、神経ネット出力の精度に関する厳しい要件を順守しています。各システムは、1秒あたりの出力を生成する際の最高速度を報告し、一部のベンチマークは平均待ち時間を測定するか、サーバーから戻ってくるためにかかる時間を測定します。

NvidiaのGPUは、ソフトウェアのセットアップルールが最も厳しい閉鎖部門内のほぼすべてのテストで優れていました。

ただし、MI300X GPUを備えたAMDは、2つのLlama 2 70Bテストでトップスコアを獲得し、1秒あたり103,182トークンを達成しました。この勝利AMDシステムは、GPUラック間のデータ転送を強化するプラグインカードと、生成AIパフォーマンスを改善するために設計されたソフトウェアLLMBoostを強化するプラグインカードに特化したスタートアップであるMangoBoostによって組み立てられました。

Nvidiaは、AMDの結果とブラックウェルスコアの比較に異議を唱え、各システムで使用されるチップとコンピューターの「ノード」の数を調整する必要性を指摘しました。 Nvidiaの加速コンピューティング製品のディレクターであるDave Salvatorは、ZDNETへのメールで強調されています。

「MangoBoostの結果は、Nvidiaの結果に対する正確なパフォーマンスの比較を反映していません。AMDのテストは、GPUの数 - 32 MI300X GPUの数を適用しました。 llama 2 70bサーバーの提出。」

Googleはまた、社内テンソル処理ユニット（TPU）の6回目の繰り返しであるTrilliumチップを紹介し、競争に参加しました。ただし、安定した拡散画像生成テストのクエリ応答速度を測定するテストで、NvidiaのBlackwellに大幅に遅れていました。

最新のMLPERFベンチマークでは、以前のラウンドと比較してNVIDIAに挑戦する競合他社が少なくなりました。特に、IntelのHabanaユニットとQualcommからの提出はありませんでした。

それにもかかわらず、インテルには祝う理由がありました。 DataCenter閉鎖部門では、IntelのXeon Microprocessorは上位11システムのうち7つを駆動し、AMDのEPYCサーバーマイクロプロセッサを上回り、3回の勝利しか確実でした。これは、以前の年と比較してIntelの改善を示しています。

メタの大規模なラマ3.1 405bの処理を担当する11番目のトップパフォーマンスシステムは、IntelまたはAMDマイクロプロセッサを使用せずにNvidiaによって構築されました。代わりに、NvidiaのBlackwell GPUと独自のGraceマイクロプロセッサを単一のパッケージに組み合わせて、統合されたGrace-Blackwell 200チップを使用しました。