Google DeepMind ha presentado Decoupled DiLoCo, una arquitectura de entrenamiento distribuido para modelos de IA de gran tamaño. Utiliza unidades de aprendizaje asíncronas con aislamiento de fallos para mantener una tasa de utilización del 88 % incluso en caso de fallos de hardware, frente al 27 % de los métodos tradicionales. El sistema reduce drásticamente las necesidades de ancho de banda entre centros de datos a 0,84 Gbps, permite el entrenamiento global a través de la red comercial de Internet y es compatible con la autorreparación y con hardware heterogéneo, como diferentes generaciones de TPU.