O Google DeepMind apresentou o Decoupled DiLoCo, uma arquitetura de treinamento distribuída para grandes modelos de IA. Ela utiliza unidades de aprendizagem assíncronas com isolamento de falhas para manter uma taxa de utilização de 88% mesmo em caso de falhas de hardware, contra 27% dos métodos tradicionais. O sistema reduz drasticamente as necessidades de largura de banda entre data centers para 0,84 Gbps, permite o treinamento global pela internet comercial e oferece suporte à autocorreção e a hardware heterogêneo, como diferentes gerações de TPU.