Google DeepMind a dévoilé Decoupled DiLoCo, une architecture d'entraînement distribuée destinée aux grands modèles d'IA. Elle utilise des unités d'apprentissage asynchrones à isolation de pannes pour maintenir un taux d'utilisation de 88 % en cas de défaillance matérielle, contre 27 % pour les méthodes traditionnelles. Le système réduit considérablement les besoins en bande passante entre les centres de données à 0,84 Gbps, permet un entraînement à l'échelle mondiale via l'Internet grand public et prend en charge l'auto-réparation ainsi que du matériel hétérogène, comme différentes générations de TPU.