Google DeepMindは、大規模AIモデル向けの分散トレーニングアーキテクチャ「Decoupled DiLoCo」を発表した。このアーキテクチャは、非同期かつ障害隔離された学習ユニットを採用しており、ハードウェア障害が発生しても88%の稼働率を維持できる。従来の方法では稼働率は27%にとどまっていた。このシステムにより、データセンター間の帯域幅要件は0.84 Gbpsまで削減され、商用インターネット回線を利用したグローバルなトレーニングが可能となるほか、自己修復機能や、異なる世代のTPUといった異種ハードウェアへの対応も実現している。





家
