NVIDIA主导AI基准，但英特尔提供了激烈的竞争

周二由行业联盟MLCommons发布的最新一轮神经网络训练速度基准测试再次将Nvidia评为MLPerf测试中所有类别的顶尖表现者。由于主要竞争对手如Google、Graphcore和Advanced Micro Devices未参加本轮测试，Nvidia的胜利是全面且无人挑战的。

然而，Intel的Habana部门凭借其Guadi2芯片表现出色，显示出竞争优势。Intel大胆承诺将在今年秋季超越Nvidia的旗舰H100 GPU。

MLPerf训练版本3.0基准测试关注于调整神经网络“权重”或参数以达到特定任务设定精度水平所需的时间，这一过程被称为“训练”。该测试版本涵盖八项不同任务，测量通过多次实验优化神经网络所需的持续时间。这是神经网络性能的一个方面，另一个方面是“推理”，即训练好的网络对新数据进行预测。推理性能由MLCommons单独评估。

除了基于服务器的训练，MLCommons还推出了MLPerf Tiny版本1.1基准测试，评估超低功耗设备上进行预测的性能。

Nvidia在所有八项测试中均名列前茅，实现了最快的训练时间。本次引入了两项新任务，包括一项针对OpenAI的GPT-3大型语言模型（LLM）的任务。由于ChatGPT的流行，生成式AI的热潮使其成为焦点。Nvidia与CoreWeave合作，在GPT-3任务中领先，使用了配备896个Intel Xeon处理器和3,584个Nvidia H100 GPU的系统。该系统基于Nvidia的NeMO框架，使用Colossal Cleaned Common Crawl数据集，仅用不到11分钟完成训练。测试使用的是拥有1750亿参数的“大型”GPT-3版本，仅限于完整训练集的0.4%，以保持运行时间可控。

另一个新增内容是推荐引擎测试的扩展版本，现使用更大的四太字节数据集Criteo 4TB multi-hot，替换了过时的一太字节数据集。MLCommons指出，生产推荐模型在规模、计算能力和内存操作方面的规模不断增加。

AI芯片领域的唯一其他竞争者是Intel的Habana，其使用Gaudi2加速器提交了五项结果，SuperMicro也使用同一芯片提交了一项。这些提交覆盖了八项任务中的四项，但与Nvidia的最佳系统相比明显落后。例如，在BERT Wikipedia测试中，Habana排名第五，用时两分钟，而Nvidia-CoreWeave使用3072个GPU的系统仅用8秒。

然而，Intel的AI产品负责人Jordan Plawner在接受ZDNET采访时强调，对于相似规模的系统，Habana与Nvidia的性能差距对许多企业可能并非关键。他指出，一个配备两个Intel Xeon处理器的8设备Habana系统在BERT Wikipedia任务中仅用14分钟多一点完成，超越了许多使用更多Nvidia A100 GPU的提交。

Plawner强调了Gaudi2的成本效益，其价格与Nvidia的A100相当，但提供更好的训练性价比。他还提到，Nvidia在提交中使用FP-8数据格式，而Habana使用精度更高的BF-16格式，尽管这略微减慢了训练速度。Plawner预计今年晚些时候切换到FP-8将提升Gaudi2的性能，有望超越Nvidia的H100。

他强调需要Nvidia的替代品，尤其是鉴于Nvidia GPU当前的供应限制。客户因延误感到沮丧，越来越愿意接受Gaudi2等替代方案，这可能使他们无需等待Nvidia的部件即可推出服务。

作为全球第二大芯片制造商，仅次于台湾积体电路制造公司，Intel在控制供应链方面具有战略优势。Plawner暗示Intel计划构建一个数千个Gaudi2的集群，表明在未来的MLPerf测试中可能成为强有力的竞争者。

这是连续第二个季度没有其他芯片制造商挑战Nvidia在训练测试中的领先地位。一年前，Google凭借其TPU与Nvidia并列榜首，但本轮测试中Google和Graphcore均未参加，专注于其业务而非基准测试竞争。

MLCommons主任David Kanter表达了对更多参与者的期望，指出更广泛的参与有益于行业。Google和AMD未回应关于本轮缺席的询问。有趣的是，虽然AMD的CPU用于竞争系统中，但所有获胜的Nvidia系统均使用了Intel Xeon CPU，标志着Intel的Sapphire Rapids发布后相较于去年AMD EPYC处理器的主导地位发生了转变。

尽管一些大公司未参与，MLPerf测试仍持续吸引新进入者，包括CoreWeave、IEI和Quanta Cloud Technology，显示出AI芯片性能领域持续的兴趣和竞争。