NVIDIA主導AI基準，但英特爾提供了激烈的競爭

最新一輪的神经网络訓練速度基準測試，由業界聯盟MLCommons於週二發布，再次將Nvidia評為MLPerf測試中所有類別的頂尖表現者。由於主要競爭對手如Google、Graphcore和Advanced Micro Devices未參與本輪測試，Nvidia的勝利是全面且無可爭議的。

然而，Intel的Habana部門憑藉其Guadi2晶片表現出色，顯示出競爭優勢。Intel大膽承諾在今年秋季超越Nvidia的旗艦H100 GPU。

MLPerf訓練版本3.0基準測試專注於調整神经网络的「權重」或參數以達到特定任務的設定精度所需的時間，這一過程被稱為「訓練」。此版本測試涵蓋八項不同任務，測量通過多次實驗優化神经网络所需的時間。這是神经网络性能的一個面向，另一個面向是「推論」，即訓練好的网络對新數據進行預測。推論性能由MLCommons單獨評估。

除了基於伺服器的訓練外，MLCommons還推出了MLPerf Tiny版本1.1基準測試，評估超低功耗設備在進行預測時的性能。

Nvidia在所有八項測試中領先，實現了最快的訓練時間。本輪引入了兩項新任務，包括針對OpenAI的GPT-3大型語言模型（LLM）的任務。由於ChatGPT的流行，生成式AI的熱潮使其成為焦點。Nvidia與CoreWeave合作，在GPT-3任務中領先，使用了一個配備896個Intel Xeon處理器和3,584個Nvidia H100 GPU的系統。此系統基於Nvidia的NeMO框架，使用Colossal Cleaned Common Crawl數據集進行訓練，僅需不到十一分鐘。測試使用了具有1750億參數的「大型」GPT-3版本，僅限於完整訓練集的0.4％，以保持運行時間可控。

另一項新增內容是推薦引擎測試的擴展版本，現在使用更大的四兆位元組數據集Criteo 4TB multi-hot，取代了舊的一兆位元組數據集。MLCommons指出，生產推薦模型在規模、計算能力和記憶體操作方面的規模正在增加。

AI晶片領域的唯一其他競爭者是Intel的Habana，其提交了五項使用Gaudi2加速器的測試項目，以及一項來自SuperMicro的同款晶片測試。這些項目涵蓋了八項任務中的四項，但與Nvidia的最佳系統相比仍有顯著差距。例如，在BERT Wikipedia測試中，Habana排名第五，用時兩分鐘，而Nvidia-CoreWeave的3,072 GPU配置僅用八秒。

然而，Intel的AI產品負責人Jordan Plawner在接受ZDNET採訪時強調，對於相似規模的系統，Habana與Nvidia的性能差距對許多企業來說可能並不關鍵。他指出，一個配備兩個Intel Xeon處理器的8設備Habana系統在BERT Wikipedia任務中僅用14分多鐘完成，超越了許多使用更多Nvidia A100 GPU的提交項目。

Plawner強調Gaudi2的成本效益，其價格與Nvidia的A100相當，但提供更好的訓練性價比。他還提到，Nvidia在其提交中使用FP-8數據格式，而Habana使用精度更高的BF-16格式，儘管後者訓練速度略慢。Plawner預計今年稍後改用FP-8將提升Gaudi2的性能，可能超越Nvidia的H100。

他強調需要Nvidia的替代方案，特別是在當前Nvidia GPU供應受限的情況下。客戶因延遲感到沮喪，越來越願意接受Gaudi2等替代方案，這可能使他們無需等待Nvidia的零件即可推出服務。

作為僅次於台積電的全球第二大晶片製造商，Intel在控制供應鏈方面具有戰略優勢。Plawner暗示Intel計劃打造一個數千個Gaudi2的集群，顯示在未來MLPerf測試中可能成為強有力的競爭者。

這是連續第二個季度，沒有其他晶片製造商挑戰Nvidia在訓練測試中的領先地位。一年前，Google憑藉其TPU與Nvidia並列榜首，但本輪Google和Graphcore均未參與，專注於其業務而非基準測試競爭。

MLCommons主任David Kanter表示希望有更多參與者，指出更廣泛的參與對業界有益。Google和AMD未回應有關其缺席本輪測試的詢問。有趣的是，雖然AMD的CPU用於競爭系統中，但所有獲勝的Nvidia配置均使用Intel Xeon CPU，顯示出與去年AMD EPYC處理器主導地位不同的轉變，隨著Intel的Sapphire Rapids發布。

儘管一些大廠未參與，MLPerf測試仍吸引了新參與者，包括CoreWeave、IEI和Quanta Cloud Technology，顯示AI晶片性能領域的持續興趣和競爭。