NVIDIA主導AI基準測試，表現優於兩個競爭對手AI芯片

NVIDIA的通用GPU芯片再次統治了評估人工智能中芯片性能最廣泛的基準之一，這一次著重於生成的AI應用程序，例如大語言模型（LLMS）。比賽相對較為單方面。

SuperMicro，Hewlett Packard Enterprise，Lenovo和其他公司的系統，每個公司都配備了多達八個NVIDIA芯片，確保了由MLCommons組織的MLPERF基準測試中的大多數最高點。該測試測量了機器可以生成令牌，過程查詢或輸出數據樣本（稱為AI推斷）的速度，這是多年來進行的一系列預測基準測試中的第五個。

MLPERF基準測試的最新迭代包括針對常見生成AI任務量身定制的新測試。一項測試評估了Meta開源LLM，Llama 3.1 405B上芯片的性能，這是該領域廣泛使用的實質性模型。另一項測試引入了Meta較小的Llama 2 70B的交互式版本，該版本旨在模擬響應時間至關重要的聊天機器人交互。該測試專門衡量系統能夠生成第一個輸出令牌的速度，這反映了對用戶提示的快速響應的需求。

第三個新測試評估了處理圖形神經網絡的速度，這些神經網絡可以處理像社交網絡中的實體之間的複雜關係。這些網絡在生成AI中變得越來越重要，例如Google的DeepMind單元在其AlphaFold 2模型中使用圖網的使用，這在2021年的蛋白質折疊預測中取得了顯著步驟，此外，第四個測試均可衡量通過使用Matoromobile的Neural Neural Neural Near Neural Necorm將LIDAR SENS的速度匯總到哪些LIDAR SENTICES的速度，該速度是由MATOM NE NERIC NECOMS匯總到MATC的啟動中。

MLPERF競爭涉及聯想，HPE等人構建的計算機，並符合對神經淨產量的準確性的嚴格要求。每個系統都報告了每秒產生輸出的最高速度，一些基準測量了平均延遲，或者是從服務器返回的響應所花費的時間。

NVIDIA的GPU在封閉部門的幾乎所有測試中都表現出色，在該測試中，軟件設置規則是最嚴格的。

但是，AMD憑藉其MI300X GPU聲稱在兩個Llama 2 70B測試中獲得最高分數，每秒獲得103,182個令牌，這比NVIDIA的新型Blackwell GPU好得多。該獲勝的AMD系統由Mangoboost組裝，Mangoboost是一家專門從事插件卡的初創公司，可增強GPU機架之間的數據傳輸，而LLMBoost則旨在提高生成性AI性能。

Nvidia對AMD的結果與其Blackwell分數進行了比較，並指出需要調整每個系統中使用的芯片和計算機“節點”的數量。 NVIDIA加速計算產品總監Dave Salvator在給ZDNET的電子郵件中強調：

“ Mangoboost的結果並不能反映與NVIDIA的結果的準確性能。 Llama 2 70B服務器提交中的GPU。”

Google還參加了比賽，展示了其Trillium Chip，這是其內部張量處理單元（TPU）的第六次迭代。但是，在測量穩定擴散圖像生成測試的測量查詢響應速度中，它顯著落後於NVIDIA的Blackwell。

與以前的回合相比，最新的MLPERF基準測試的競爭對手更少挑戰NVIDIA。值得注意的是，英特爾的Habana部門和高通公司的意見書都參與了過去的幾年。

儘管如此，英特爾還是有理由慶祝的。在數據中心封閉的部門中，英特爾的Xeon Micropropessor為前11個系統中的7個提供了動力，表現優於AMD的EPYC服務器微處理器，後者僅獲得了三場胜利。與往年相比，這標誌著英特爾的改善。

NVIDIA未使用Intel或AMD微處理器而構建了第11個表現最佳系統，其任務是處理Meta的巨大Llama 3.1 405B。取而代之的是，它利用了集成的Grace-Blackwell 200芯片，將NVIDIA的Blackwell GPU與自己的Grace微處理器組合在一起。