Google推出了新芯片，以削减主要的隐藏AI成本

在Google Cloud Next 25活动中，Google发布了其最新一代张量处理单元（TPU），名为Ironwood。这一新芯片标志着Google的重点发生重大转变，强调用于推理而非训练。传统上，TPU主要用于训练神经网络，这一过程由AI专家和数据科学家主导。然而，Ironwood的目标是满足数百万甚至数十亿用户的实时预测需求。

Ironwood TPU

Ironwood TPU的推出正值AI行业关键时刻，焦点从实验项目转向企业对AI模型的实际应用。像Google的Gemini这样的高级AI模型提升了推理能力，导致推理期间对计算能力的需求激增。这一转变正在推高成本，正如Google在描述Ironwood时所强调：“推理和多步骤推理正将计算需求的增量——以及成本——从训练转向推理时间（测试时扩展）。”Ironwood代表了Google在优化性能和效率方面的承诺，特别是在推理这一日益昂贵的领域。

推理芯片

Google与TPU的历程超过十年，Ironwood之前已有六代。虽然训练芯片产量较低，但推理芯片面向需要从训练模型中进行日常预测的更广泛受众，属于高产量市场。此前，Google的第六代TPU Trillium被定位为兼具训练和推理能力。然而，Ironwood主要聚焦于推理，标志着与这种双用途方法的显著背离。

必要投资

这一重点转变可能预示着Google对Intel、AMD和Nvidia等外部芯片制造商依赖的改变。据KeyBanc Capital Markets统计，这些供应商历来主导Google的云计算业务，占用了99%的处理器。通过投资自有TPU，Google可能旨在减少对这些供应商的依赖，并可能节省AI基础设施不断上升的成本。股票分析师如DA Davidson的Gil Luria估计，如果Google直接向Nvidia的客户销售TPU，去年可能产生高达240亿美元的收入。

Ironwood vs. Trillium

Google在活动中展示了Ironwood相较Trillium的技术优势。Ironwood的每瓦性能是Trillium的两倍，达到每秒29.3万亿次浮点运算。它还配备192GB高带宽内存（HBM），是Trillium的六倍，内存带宽达到每秒7.2太比特，是Trillium的4.5倍。这些增强旨在促进更大的数据移动并减少芯片上张量操作时的延迟，正如Google所述：“Ironwood旨在最小化芯片上的数据移动和延迟，同时进行大规模张量操作。”

扩展AI基础设施

内存和带宽的进步是Google扩展AI基础设施战略的核心。扩展涉及高效利用分组芯片并行解决问题，提升性能和利用率。这对经济原因至关重要，因为更高的利用率意味着减少昂贵资源的浪费。Google此前强调Trillium能够扩展到数十万芯片，同样，他们也强调Ironwood能够组成“数十万Ironwood芯片，以快速推进GenAI计算的前沿。”

除了硬件发布，Google还推出了Pathways on Cloud，这是一个将AI计算任务分配到不同机器上的软件解决方案。此前仅限内部使用，该软件现已向公众开放，进一步增强了Google的AI基础设施能力。