NvidiaはAIベンチマークを支配していますが、Intelは重要な競争を提供しています

火曜日に業界コンソーシアムMLCommonsが発表した最新のニューラルネットワークトレーニング速度ベンチマークでは、NvidiaがMLPerfテストの全カテゴリーで再び最高のパフォーマーとして君臨しました。Google、Graphcore、Advanced Micro Devicesなどの主要な競合他社がこのラウンドに参加しなかったため、Nvidiaの完全な勝利は揺るぎないものでした。

しかし、IntelのHabana部門はGuadi2チップで顕著な成果を上げ、競争力のある優位性を示しました。Intelは大胆にも、今年の秋までにNvidiaのフラッグシップH100 GPUを上回ると約束しています。

MLPerfトレーニングバージョン3.0ベンチマークは、ニューラルネットワークの「重み」やパラメータを特定のタスクで設定された精度レベルに調整するのに必要な時間、つまり「トレーニング」に焦点を当てています。このバージョンのテストは8つの異なるタスクを包含し、複数の実験を通じてニューラルネットワークを改良するのに必要な時間を測定します。これはニューラルネットワークのパフォーマンスの一つの側面であり、もう一つは「推論」で、トレーニングされたネットワークが新しいデータに対して予測を行うものです。推論のパフォーマンスはMLCommonsによって別途評価されます。

サーバーベースのトレーニングに加えて、MLCommonsは超低消費電力デバイスでの予測パフォーマンスを評価するMLPerf Tinyバージョン1.1ベンチマークを導入しました。

Nvidiaは8つのテストすべてでトップを獲得し、最速のトレーニング時間を達成しました。新しいタスクとして、OpenAIのGPT-3大規模言語モデル（LLM）を含む2つのタスクが導入されました。ChatGPTの人気によって引き起こされた生成AIへの熱狂がこれを注目の的としています。NvidiaはCoreWeaveと協力して、896個のIntel Xeonプロセッサと3,584個のNvidia H100 GPUを搭載したシステムを利用し、GPT-3タスクでリードしました。このセットアップは、NvidiaのNeMOフレームワーク上で動作し、Colossal Cleaned Common Crawlデータセットを使用してわずか11分弱でトレーニングを完了しました。テストでは、実行時間を管理可能にするために、1750億パラメータを持つ「大規模」バージョンのGPT-3を使用し、完全なトレーニングセットの0.4％に制限しました。

もう一つの新しい追加は、レコメンダーエンジンのテストの拡張バージョンで、従来の1テラバイトのデータセットを置き換え、より大規模な4テラバイトのデータセットであるCriteo 4TBマルチホットを使用しました。MLCommonsは、サイズ、計算能力、メモリオペレーションの点で本番レコメンデーションモデルの規模が拡大していると指摘しました。

AIチップ分野での唯一の他の競合はIntelのHabanaで、Gaudi2アクセラレータを使用した5つの提出と、SuperMicroからの同じチップを使用した1つの提出がありました。これらのエントリーは8つのタスクのうち4つをカバーしましたが、Nvidiaの最良のシステムに大きく遅れをとりました。例えば、BERT Wikipediaテストでは、Habanaは5位で、Nvidia-CoreWeaveの3,072 GPUセットアップの8秒に対し、2分かかりました。

それでも、IntelのAI製品責任者であるJordan Plawnerは、ZDNETのインタビューで、同様の規模のシステムでは、HabanaとNvidiaのパフォーマンスギャップが多くの企業にとってそれほど重要ではないかもしれないと強調しました。彼は、2つのIntel Xeonプロセッサを搭載した8デバイスのHabanaシステムが、BERT Wikipediaタスクをわずか14分強で完了し、より多くのNvidia A100 GPUを使用した多くの提出を上回ったと指摘しました。

Plawnerは、Gaudi2のコスト効率を強調し、NvidiaのA100と同等の価格でありながら、トレーニングにおけるコストパフォーマンスが優れていると述べました。彼はまた、Nvidiaが提出でFP-8データ形式を使用したのに対し、Habanaはより高い精度を持つBF-16形式を使用したが、これがトレーニングをわずかに遅くしたと述べました。Plawnerは、今年後半にFP-8に切り替えることで、Gaudi2のパフォーマンスが向上し、NvidiaのH100を上回る可能性があると予測しています。

彼は、NvidiaのGPUの現在の供給制約を考慮して、Nvidiaの代替品が必要だと強調しました。遅延に不満を抱く顧客は、Nvidiaの部品を待たずにサービスを開始できるGaudi2のような代替品にますますオープンです。

世界第2位のチップメーカーであるIntelは、台湾セミコンダクターに次ぐ立場として、サプライチェーンを管理する戦略的優位性を持っています。Plawnerは、Intelが数千のGaudi2クラスタを構築する計画をほのめかし、将来のMLPerfテストでの強力な競争相手となる可能性を示唆しました。

これで、Nvidiaのトレーニングテストでのトップの地位に他のチップメーカーが挑戦しなかったのは2四半期連続です。1年前、GoogleはTPUを使用してNvidiaとトップの座を分け合いましたが、最新のラウンドではGoogleとGraphcoreはベンチマーク競争ではなくビジネスに注力し、参加しませんでした。

MLCommonsのディレクターであるDavid Kanterは、より多くの参加者を望むと述べ、幅広い参加が業界に利益をもたらすと指摘しました。GoogleとAMDはこのラウンドでの不参加についての問い合わせに応じませんでした。興味深いことに、AMDのCPUが競合システムで使用された一方、すべての勝利したNvidiaのセットアップはIntel Xeon CPUを使用し、IntelのSapphire Rapidsのリリースにより、昨年AMDのEPYCプロセッサが支配していた状況からの変化を示しました。

一部の大手企業の参加が欠けたにもかかわらず、MLPerfテストはCoreWeave、IEI、Quanta Cloud Technologyなどの新しい参加者を引きつけ続けており、AIチップパフォーマンスの分野での継続的な関心と競争を示しています。