NVIDIA主导AI基准测试，表现优于两个竞争对手AI芯片

英伟达的通用GPU芯片再次在人工智能芯片性能评估的广泛认可基准测试中占据主导地位，这次聚焦于生成式人工智能应用，如大型语言模型（LLM）。竞争呈现出一边倒的态势。

来自SuperMicro、惠普企业、联想等公司的系统，每台配备多达八块英伟达芯片，在由行业联盟MLCommons组织的MLPerf基准测试中占据了大部分顶级位置。该测试衡量机器生成令牌、处理查询或输出数据样本的速度——即人工智能推理——是多年来进行的预测基准测试系列中的第五次。

此次MLPerf基准测试的最新版本包括针对常见生成式人工智能任务量身定制的新测试。其中一项测试评估了芯片在Meta的开源大型语言模型Llama 3.1 405b上的性能，这是一个在该领域广泛使用的庞大模型。另一项测试引入了Meta较小型号Llama 2 70b的交互版本，旨在模拟聊天机器人交互，其中响应时间至关重要。该测试专门衡量系统生成首个输出令牌的速度，反映了对用户提示的快速响应需求。

第三个新测试评估了处理图神经网络的速度，这些网络处理实体之间的复杂关系，如社交网络中的关系。这些网络在生成式人工智能中变得越来越重要，例如谷歌DeepMind部门在2021年取得蛋白质折叠预测重大进展的AlphaFold 2模型中使用了图网络。此外，第四项测试评估了使用MLCommons从现有开源技术开发的定制神经网络，将LiDAR感知数据编译为汽车道路地图的速度。

MLPerf竞赛涉及由联想、惠普企业等公司构建的计算机，需遵守神经网络输出精度的严格要求。每台系统报告其每秒生成输出的最高速度，部分基准测试还测量平均延迟，即从服务器返回响应的时间。

英伟达的GPU在封闭组别中几乎所有测试中表现出色，该组别的软件设置规则最为严格。

然而，AMD凭借其MI300X GPU在两项Llama 2 70b测试中获得最高分，每秒生成103,182个令牌，显著优于英伟达的较新型Blackwell GPU。这套获胜的AMD系统由MangoBoost组装，这是一家专注于增强GPU机架间数据传输的插件卡初创公司，并使用了其专为提升生成式人工智能性能设计的LLMboost软件。

英伟达对AMD结果与Blackwell得分的比较提出异议，指出需根据每套系统使用的芯片数量和计算机“节点”进行调整。英伟达加速计算产品总监戴夫·萨尔瓦托在给ZDNET的电子邮件中强调：

“MangoBoost的结果并未反映与英伟达结果的准确性能比较。AMD的测试使用了4倍数量的GPU——32块MI300X GPU——对阵8块英伟达B200，但仅比英伟达的提交结果高出3.83%。英伟达的8x B200提交实际上在Llama 2 70B服务器提交中超过了MangoBoost的32块AMD MI300X GPU。”

谷歌也参与了竞争，展示了其第六代自研张量处理单元（TPU）Trillium芯片。然而，在测量Stable Diffusion图像生成测试查询响应速度的测试中，该芯片显著落后于英伟达的Blackwell。

最新一轮MLPerf基准测试的竞争对手数量少于往年。值得注意的是，英特尔的Habana部门和Qualcomm均未提交测试结果，而这两家公司在过去几年均有参与。

尽管如此，英特尔仍有理由庆祝。在数据中心封闭组别中，英特尔的Xeon微处理器为前11名系统中的7个提供动力，超越了AMD的EPYC服务器微处理器，后者仅取得3次胜利。这标志着英特尔相较于往年的进步。

第11名高性能系统，负责处理Meta的大型Llama 3.1 405b，由英伟达构建，未使用英特尔或AMD微处理器，而是采用了集成的Grace-Blackwell 200芯片，将英伟达的Blackwell GPU与其自有的Grace微处理器封装在单一芯片中。