谷歌DeepMind发布了Decoupled DiLoCo,这是一种面向大型AI模型的分布式训练架构。该架构采用异步故障隔离学习单元,在硬件故障期间仍能保持88%的利用率,而传统方法的利用率仅为27%。该系统将跨数据中心的带宽需求大幅降低至0.84 Gbps,支持通过商用互联网进行全球范围的训练,并具备自愈能力,同时兼容不同代TPU等异构硬件。
评论 (0)
0/300





首页
