選項
首頁
快訊
內容
FrankMoore
FrankMoore
2026-04-24

Google DeepMind 推出了「Decoupled DiLoCo」,這是一種用於大型 AI 模型的分散式訓練架構。該架構採用非同步且具故障隔離功能的學習單元,即使在硬體故障的情況下,仍能維持 88% 的利用率,而傳統方法的利用率僅為 27%。此系統將跨資料中心的頻寬需求大幅降低至 0.84 Gbps,可透過商用網際網路進行全球訓練,並支援自我修復功能,以及不同世代 TPU 等異質硬體。

Google DeepMind 推出了「Decoupled DiLoCo」,這是一種用於大型 AI 模型的分散式訓練架構。該架構採用非同步且具故障隔離功能的學習單元,即使在硬體故障的情況下,仍能維持 88% 的利用率,而傳統方法的利用率僅為 27%。此系統將跨資料中心的頻寬需求大幅降低至 0.84 Gbps,可透過商用網際網路進行全球訓練,並支援自我修復功能,以及不同世代 TPU 等異質硬體。
評論 (0)
0/300
OR