Google推出了新芯片,以削減主要的隱藏AI成本

在Google Cloud Next 25活動中,Google展示了其最新一代張量處理單元(TPU),名為Ironwood。這款新晶片標誌著Google焦點的重大轉變,強調其用於推理而非訓練。傳統上,TPU用於訓練神經網路,這一過程主要由AI專家和數據科學家主導。然而,隨著Ironwood的推出,Google現正針對數百萬甚至數十億用戶的即時預測需求。
Ironwood TPU
Ironwood TPU的推出正值AI產業的關鍵時刻,焦點正從實驗性項目轉向企業對AI模型的實際應用。像Google的Gemini這樣的高級AI模型的出現,提升了推理能力,對推理期間的計算能力需求激增。這一轉變正在推高成本,正如Google在描述Ironwood時所強調:「推理和多步驟推理正在將計算需求的增量——以及成本——從訓練轉向推理時間(測試時間擴展)。」Ironwood代表了Google致力於優化性能和效率,特別是在日益昂貴的推理領域。
推理晶片
Google與TPU的歷程已超過十年,Ironwood之前已有六代。訓練晶片的生產量較低,而推理晶片則服務於需要從訓練模型中進行日常預測的廣大受眾,是一個高產量市場。此前,Google的第六代TPU Trillium被定位為同時適用於訓練和推理。然而,Ironwood主要聚焦於推理,標誌著與這種雙用途方法的顯著背離。
必要的投資
這種焦點的轉變可能預示著Google對外部晶片製造商如Intel、AMD和Nvidia的依賴發生變化。根據KeyBanc Capital Markets的數據,這些供應商歷來主導Google的雲計算運營,佔據了99%的處理器使用量。通過投資自有TPU,Google可能旨在減少對這些供應商的依賴,並可能節省AI基礎設施不斷上升的成本。股票分析師,如DA Davidson的Gil Luria,估計如果Google直接向Nvidia的客戶銷售TPU,去年可能已創造高達240億美元的收入。
Ironwood vs. Trillium
Google在活動中展示了Ironwood相較於Trillium的技術優勢。Ironwood的每瓦性能是Trillium的兩倍,達到每秒29.3萬億浮點運算。它還擁有192GB的高頻寬記憶體(HBM),是Trillium的六倍,記憶體頻寬達到每秒7.2太比特,是Trillium的4.5倍。這些增強旨在促進更大的數據移動並減少晶片上進行張量操作時的延遲,正如Google所述:「Ironwood設計用於在執行大規模張量操作時,最大限度減少晶片上的數據移動和延遲。」
擴展AI基礎設施
記憶體和頻寬的進步是Google擴展其AI基礎設施策略的核心。擴展涉及有效利用分組晶片以並行解決問題,提升性能和利用率。這對經濟原因至關重要,因為更高的利用率意味著更少浪費昂貴的資源。Google此前已強調Trillium能夠擴展至數十萬個晶片,同樣地,他們也強調Ironwood能夠組成「數十萬個Ironwood晶片,以快速推進GenAI計算的前沿。」
除了硬體公告外,Google還推出了Pathways on Cloud,這是一款將AI計算任務分發到不同機器的軟體解決方案。此前該軟體僅供內部使用,現在已向公眾開放,進一步增強了Google的AI基礎設施能力。
相關文章
DeepMind執行長哈西里斯:我每天睡六個小時,通常在凌晨1點左右感到精力充沛。
Fortune 最近刊登了對谷歌 DeepMind 執行長 Demis Hassabis 的採訪,揭示了他對休息和生產力的非傳統方法。Hassabis 透露,他睡眠時間非常少,將清醒時間劃分為兩個不同的工作階段。關於他的睡眠習慣,Hassabis 表示:“我目標睡六小時,但我的習慣非同尋常。我可以在白天有效運作。”他強調,睡眠少於六小時會對大腦健康產生負面影響。Hassabis 於 2010 年聯合創立了 DeepMind(後被谷歌收購),並因其在蛋白質結構預測方面的開創性工作榮獲 20
儘管營收未達預期,OpenAI 與 Anthropic 仍爭奪市場份額
儘管近期有報導指出 OpenAI 未達營收目標,導致本週二科技股承壓,但私人人工智慧實驗室的投資者仍展現出韌性。資深投資者已確認,儘管媒體報導負面,他們仍不會削減投資。分析師認為當前的 AI 競逐仍處於初期階段,因此排除「贏家通吃」的結果。儘管高昂的運算成本對營收造成壓力,但各實驗室可透過調高訂閱費來提升獲利能力。產業格局正經歷微妙的變化與 OpenAI 不同,競爭對手 Anthropic 獲得了
加州自動駕駛合規:罰單、地理圍欄與 100 萬英里的新時代
Guident 在南佛羅里達州營運一輛 AuveTech 接駁車,並運用其遠端監控技術,管理西棕櫚灘的一條四英里路線以及博卡拉頓的一條一英里路線。| 圖片來源:Guident加州正重新定義無人駕駛車輛的監管格局,從科技產業的「快速行動、打破常規」心態,轉向嚴格的問責制與嚴謹的行駛里程要求。Guident 執行董事長兼執行長哈羅德·布勞恩(Harold Braun)在《機器人報告》(The Robo
相關專題推薦
評論 (18)
0/500
Wow, Google's Ironwood TPU sounds like a game-changer for AI inference! Focusing on efficiency could really shake up the cost dynamics. Curious how this stacks against NVIDIA’s offerings—any bets on who’ll dominate the market? 😎
Whoa, Google's Ironwood TPU sounds like a game-changer for AI inference! Cutting costs like that could really shake up the cloud market. Anyone else curious how this stacks up against Nvidia’s gear? 🤔
Google's new Ironwood chip sounds like a game-changer for AI inference! 🚀 Excited to see how it cuts costs and boosts efficiency.
Googleの新しいIronwood TPUはAIコストを変えるものですね!今は推論に重点を置いているのがかっこいいけど、トレーニングの側面も気になります。でも、隠れたコストを削減できるなら賛成です。トレーニング部分も改善し続けてほしいですね!🤞

在Google Cloud Next 25活動中,Google展示了其最新一代張量處理單元(TPU),名為Ironwood。這款新晶片標誌著Google焦點的重大轉變,強調其用於推理而非訓練。傳統上,TPU用於訓練神經網路,這一過程主要由AI專家和數據科學家主導。然而,隨著Ironwood的推出,Google現正針對數百萬甚至數十億用戶的即時預測需求。
Ironwood TPU
Ironwood TPU的推出正值AI產業的關鍵時刻,焦點正從實驗性項目轉向企業對AI模型的實際應用。像Google的Gemini這樣的高級AI模型的出現,提升了推理能力,對推理期間的計算能力需求激增。這一轉變正在推高成本,正如Google在描述Ironwood時所強調:「推理和多步驟推理正在將計算需求的增量——以及成本——從訓練轉向推理時間(測試時間擴展)。」Ironwood代表了Google致力於優化性能和效率,特別是在日益昂貴的推理領域。
推理晶片
Google與TPU的歷程已超過十年,Ironwood之前已有六代。訓練晶片的生產量較低,而推理晶片則服務於需要從訓練模型中進行日常預測的廣大受眾,是一個高產量市場。此前,Google的第六代TPU Trillium被定位為同時適用於訓練和推理。然而,Ironwood主要聚焦於推理,標誌著與這種雙用途方法的顯著背離。
必要的投資
這種焦點的轉變可能預示著Google對外部晶片製造商如Intel、AMD和Nvidia的依賴發生變化。根據KeyBanc Capital Markets的數據,這些供應商歷來主導Google的雲計算運營,佔據了99%的處理器使用量。通過投資自有TPU,Google可能旨在減少對這些供應商的依賴,並可能節省AI基礎設施不斷上升的成本。股票分析師,如DA Davidson的Gil Luria,估計如果Google直接向Nvidia的客戶銷售TPU,去年可能已創造高達240億美元的收入。
Ironwood vs. Trillium
Google在活動中展示了Ironwood相較於Trillium的技術優勢。Ironwood的每瓦性能是Trillium的兩倍,達到每秒29.3萬億浮點運算。它還擁有192GB的高頻寬記憶體(HBM),是Trillium的六倍,記憶體頻寬達到每秒7.2太比特,是Trillium的4.5倍。這些增強旨在促進更大的數據移動並減少晶片上進行張量操作時的延遲,正如Google所述:「Ironwood設計用於在執行大規模張量操作時,最大限度減少晶片上的數據移動和延遲。」
擴展AI基礎設施
記憶體和頻寬的進步是Google擴展其AI基礎設施策略的核心。擴展涉及有效利用分組晶片以並行解決問題,提升性能和利用率。這對經濟原因至關重要,因為更高的利用率意味著更少浪費昂貴的資源。Google此前已強調Trillium能夠擴展至數十萬個晶片,同樣地,他們也強調Ironwood能夠組成「數十萬個Ironwood晶片,以快速推進GenAI計算的前沿。」
除了硬體公告外,Google還推出了Pathways on Cloud,這是一款將AI計算任務分發到不同機器的軟體解決方案。此前該軟體僅供內部使用,現在已向公眾開放,進一步增強了Google的AI基礎設施能力。
DeepMind執行長哈西里斯:我每天睡六個小時,通常在凌晨1點左右感到精力充沛。
Fortune 最近刊登了對谷歌 DeepMind 執行長 Demis Hassabis 的採訪,揭示了他對休息和生產力的非傳統方法。Hassabis 透露,他睡眠時間非常少,將清醒時間劃分為兩個不同的工作階段。關於他的睡眠習慣,Hassabis 表示:“我目標睡六小時,但我的習慣非同尋常。我可以在白天有效運作。”他強調,睡眠少於六小時會對大腦健康產生負面影響。Hassabis 於 2010 年聯合創立了 DeepMind(後被谷歌收購),並因其在蛋白質結構預測方面的開創性工作榮獲 20
儘管營收未達預期,OpenAI 與 Anthropic 仍爭奪市場份額
儘管近期有報導指出 OpenAI 未達營收目標,導致本週二科技股承壓,但私人人工智慧實驗室的投資者仍展現出韌性。資深投資者已確認,儘管媒體報導負面,他們仍不會削減投資。分析師認為當前的 AI 競逐仍處於初期階段,因此排除「贏家通吃」的結果。儘管高昂的運算成本對營收造成壓力,但各實驗室可透過調高訂閱費來提升獲利能力。產業格局正經歷微妙的變化與 OpenAI 不同,競爭對手 Anthropic 獲得了
Wow, Google's Ironwood TPU sounds like a game-changer for AI inference! Focusing on efficiency could really shake up the cost dynamics. Curious how this stacks against NVIDIA’s offerings—any bets on who’ll dominate the market? 😎
Whoa, Google's Ironwood TPU sounds like a game-changer for AI inference! Cutting costs like that could really shake up the cloud market. Anyone else curious how this stacks up against Nvidia’s gear? 🤔
Google's new Ironwood chip sounds like a game-changer for AI inference! 🚀 Excited to see how it cuts costs and boosts efficiency.
Googleの新しいIronwood TPUはAIコストを変えるものですね!今は推論に重点を置いているのがかっこいいけど、トレーニングの側面も気になります。でも、隠れたコストを削減できるなら賛成です。トレーニング部分も改善し続けてほしいですね!🤞





首頁






