NVIDIA主導AI基準測試，表現優於兩個競爭對手AI芯片

Nvidia的通用GPU晶片再次主導了評估人工智慧晶片性能的最廣泛認可基準之一，這次聚焦於生成式AI應用，如大型語言模型（LLMs）。比賽結果呈現一面倒的態勢。

來自SuperMicro、Hewlett Packard Enterprise、聯想等公司的系統，每個搭載多達八顆Nvidia晶片，在由產業聯盟MLCommons組織的MLPerf基準測試中奪得了大多數頂尖名次。此測試衡量機器生成標記、處理查詢或輸出數據樣本的速度，稱為AI推理，是多年來進行的預測基準系列中的第五次。

這次MLPerf基準的最新迭代包含了針對常見生成式AI任務的新測試。其中一項測試評估了晶片在Meta開源LLM Llama 3.1 405b上的性能，這是一個廣泛應用於該領域的大型模型。另一項測試引入了Meta較小的Llama 2 70b的互動版本，模擬聊天機器人交互，其中回應時間至關重要。此測試特別測量系統生成第一個輸出標記的速度，反映了對用戶提示快速回應的需求。

第三項新測試評估了處理圖神經網路的速度，這些網路處理實體之間的複雜關係，如社交網路中的關係。這些網路在生成式AI中日益重要，例如Google的DeepMind部門在2021年的AlphaFold 2模型中使用了圖神經網路，在蛋白質摺疊預測方面取得了重大進展。此外，第四項測試衡量了使用MLCommons從現有開源技術開發的自訂神經網路，將LiDAR感測數據編譯成汽車路線圖的速度。

MLPerf比賽涉及聯想、HPE等公司製造的電腦，這些電腦遵循神經網路輸出精度的嚴格要求。每個系統報告其每秒輸出的最高速度，部分基準測試測量平均延遲，即從伺服器返回回應所需的時間。

Nvidia的GPU在封閉組別的幾乎所有測試中表現卓越，該組別的軟體設置規則最為嚴格。

然而，AMD憑藉其MI300X GPU在兩項Llama 2 70b測試中獲得最高分，達到每秒103,182個標記，顯著優於Nvidia的新款Blackwell GPU。這套獲勝的AMD系統由MangoBoost組裝，這是一家專注於增強GPU機架間數據傳輸的插件卡初創公司，並使用了其專為提升生成式AI性能設計的LLMboost軟體。

Nvidia對AMD與其Blackwell成績的比較提出異議，指出需要根據每個系統使用的晶片數量和電腦「節點」數量進行調整。Nvidia加速運算產品總監Dave Salvator在給ZDNET的電子郵件中強調：

「MangoBoost的結果並未反映與NVIDIA結果的準確性能比較。AMD的測試使用了4倍的GPU數量——32顆MI300X GPU，對比8顆NVIDIA B200，但仍僅比NVIDIA的提交結果高出3.83%。NVIDIA的8x B200提交實際上在Llama 2 70B伺服器提交中超越了MangoBoost的32顆AMD MI300X GPU。」

Google也參加了比賽，展示了其自家Tensor Processing Unit（TPU）的第六代Trillium晶片。然而，在測量Stable Diffusion圖像生成測試的查詢回應速度中，該晶片遠落後於Nvidia的Blackwell。

最新的MLPerf基準比賽中，挑戰Nvidia的競爭者比以往減少。值得注意的是，Intel的Habana部門和Qualcomm均未提交參賽作品，而這兩者在往年均有參與。

儘管如此，Intel仍有理由慶祝。在數據中心封閉組別中，Intel的Xeon微處理器為前11名系統中的7個提供了動力，超越了僅獲得3次勝利的AMD EPYC伺服器微處理器。這對Intel來說相較於往年有所進步。

第11名的高性能系統，負責處理Meta的大型Llama 3.1 405b，由Nvidia打造，未使用Intel或AMD微處理器，而是採用了整合的Grace-Blackwell 200晶片，將Nvidia的Blackwell GPU與其自家Grace微處理器結合在單一封裝中。