Google DeepMind hat „Decoupled DiLoCo“ vorgestellt, eine verteilte Trainingsarchitektur für große KI-Modelle. Sie nutzt asynchrone, fehlertolerante Lerneinheiten, um bei Hardwareausfällen eine Auslastung von 88 % aufrechtzuerhalten – im Vergleich zu 27 % bei herkömmlichen Methoden. Das System reduziert den Bandbreitenbedarf zwischen Rechenzentren auf 0,84 Gbit/s, ermöglicht globales Training über das kommerzielle Internet und unterstützt Selbstheilung sowie heterogene Hardware wie verschiedene TPU-Generationen.