NVIDIA主导AI基准测试，表现优于两个竞争对手AI芯片

NVIDIA的通用GPU芯片再次统治了评估人工智能中芯片性能最广泛的基准之一，这一次着重于生成的AI应用程序，例如大语言模型（LLMS）。比赛相对较为单方面。

SuperMicro，Hewlett Packard Enterprise，Lenovo和其他公司的系统，每个公司都配备了多达八个NVIDIA芯片，确保了由MLCommons组织的MLPERF基准测试中的大多数最高点。该测试测量了机器可以生成令牌，过程查询或输出数据样本（称为AI推断）的速度，这是多年来进行的一系列预测基准测试中的第五个。

MLPERF基准测试的最新迭代包括针对常见生成AI任务量身定制的新测试。一项测试评估了Meta开源LLM，Llama 3.1 405B上芯片的性能，这是该领域广泛使用的实质性模型。另一项测试引入了Meta较小的Llama 2 70B的交互式版本，该版本旨在模拟响应时间至关重要的聊天机器人交互。该测试专门衡量系统能够生成第一个输出令牌的速度，这反映了对用户提示的快速响应的需求。

第三个新测试评估了处理图形神经网络的速度，这些神经网络可以处理像社交网络中的实体之间的复杂关系。这些网络在生成AI中变得越来越重要，例如Google的DeepMind单元在其AlphaFold 2模型中使用图网的使用，这在2021年的蛋白质折叠预测中取得了显着步骤，此外，第四个测试均可衡量通过使用Matoromobile的Neural Neural Neural Near Neural Necorm将LIDAR SENS的速度汇总到哪些LIDAR SENTICES的速度，该速度是由MATOM NE NERIC NECOMS汇总到MATC的启动中。

MLPERF竞争涉及联想，HPE等人构建的计算机，并符合对神经净产量的准确性的严格要求。每个系统都报告了每秒产生输出的最高速度，一些基准测量了平均延迟，或者是从服务器返回的响应所花费的时间。

NVIDIA的GPU在封闭部门的几乎所有测试中都表现出色，在该测试中，软件设置规则是最严格的。

但是，AMD凭借其MI300X GPU声称在两个Llama 2 70B测试中获得最高分数，每秒获得103,182个令牌，这比NVIDIA的新型Blackwell GPU好得多。该获胜的AMD系统由Mangoboost组装，Mangoboost是一家专门从事插件卡的初创公司，可增强GPU机架之间的数据传输，而LLMBoost则旨在提高生成性AI性能。

Nvidia对AMD的结果与其Blackwell分数进行了比较，并指出需要调整每个系统中使用的芯片和计算机“节点”的数量。 NVIDIA加速计算产品总监Dave Salvator在给ZDNET的电子邮件中强调：

“ Mangoboost的结果并不能反映与NVIDIA的结果的准确性能。 Llama 2 70B服务器提交中的GPU。”

Google还参加了比赛，展示了其Trillium Chip，这是其内部张量处理单元（TPU）的第六次迭代。但是，在测量稳定扩散图像生成测试的测量查询响应速度中，它显着落后于NVIDIA的Blackwell。

与以前的回合相比，最新的MLPERF基准测试的竞争对手更少挑战NVIDIA。值得注意的是，英特尔的Habana部门和高通公司的意见书都参与了过去的几年。

尽管如此，英特尔还是有理由庆祝的。在数据中心封闭的部门中，英特尔的Xeon Micropropessor为前11个系统中的7个提供了动力，表现优于AMD的EPYC服务器微处理器，后者仅获得了三场胜利。与往年相比，这标志着英特尔的改善。

NVIDIA未使用Intel或AMD微处理器而构建了第11个表现最佳系统，其任务是处理Meta的巨大Llama 3.1 405B。取而代之的是，它利用了集成的Grace-Blackwell 200芯片，将NVIDIA的Blackwell GPU与自己的Grace微处理器组合在一起。