Google推出了新芯片，以削減主要的隱藏AI成本

在Google Cloud Next 25活動中，Google展示了其最新一代張量處理單元（TPU），名為Ironwood。這款新晶片標誌著Google焦點的重大轉變，強調其用於推理而非訓練。傳統上，TPU用於訓練神經網路，這一過程主要由AI專家和數據科學家主導。然而，隨著Ironwood的推出，Google現正針對數百萬甚至數十億用戶的即時預測需求。

Ironwood TPU

Ironwood TPU的推出正值AI產業的關鍵時刻，焦點正從實驗性項目轉向企業對AI模型的實際應用。像Google的Gemini這樣的高級AI模型的出現，提升了推理能力，對推理期間的計算能力需求激增。這一轉變正在推高成本，正如Google在描述Ironwood時所強調：「推理和多步驟推理正在將計算需求的增量——以及成本——從訓練轉向推理時間（測試時間擴展）。」Ironwood代表了Google致力於優化性能和效率，特別是在日益昂貴的推理領域。

推理晶片

Google與TPU的歷程已超過十年，Ironwood之前已有六代。訓練晶片的生產量較低，而推理晶片則服務於需要從訓練模型中進行日常預測的廣大受眾，是一個高產量市場。此前，Google的第六代TPU Trillium被定位為同時適用於訓練和推理。然而，Ironwood主要聚焦於推理，標誌著與這種雙用途方法的顯著背離。

必要的投資

這種焦點的轉變可能預示著Google對外部晶片製造商如Intel、AMD和Nvidia的依賴發生變化。根據KeyBanc Capital Markets的數據，這些供應商歷來主導Google的雲計算運營，佔據了99%的處理器使用量。通過投資自有TPU，Google可能旨在減少對這些供應商的依賴，並可能節省AI基礎設施不斷上升的成本。股票分析師，如DA Davidson的Gil Luria，估計如果Google直接向Nvidia的客戶銷售TPU，去年可能已創造高達240億美元的收入。

Ironwood vs. Trillium

Google在活動中展示了Ironwood相較於Trillium的技術優勢。Ironwood的每瓦性能是Trillium的兩倍，達到每秒29.3萬億浮點運算。它還擁有192GB的高頻寬記憶體（HBM），是Trillium的六倍，記憶體頻寬達到每秒7.2太比特，是Trillium的4.5倍。這些增強旨在促進更大的數據移動並減少晶片上進行張量操作時的延遲，正如Google所述：「Ironwood設計用於在執行大規模張量操作時，最大限度減少晶片上的數據移動和延遲。」

擴展AI基礎設施

記憶體和頻寬的進步是Google擴展其AI基礎設施策略的核心。擴展涉及有效利用分組晶片以並行解決問題，提升性能和利用率。這對經濟原因至關重要，因為更高的利用率意味著更少浪費昂貴的資源。Google此前已強調Trillium能夠擴展至數十萬個晶片，同樣地，他們也強調Ironwood能夠組成「數十萬個Ironwood晶片，以快速推進GenAI計算的前沿。」

除了硬體公告外，Google還推出了Pathways on Cloud，這是一款將AI計算任務分發到不同機器的軟體解決方案。此前該軟體僅供內部使用，現在已向公眾開放，進一步增強了Google的AI基礎設施能力。