Google DeepMind представила Decoupled DiLoCo — распределенную архитектуру обучения для крупных моделей искусственного интеллекта. Она использует асинхронные модули обучения с изоляцией от сбоев, что позволяет поддерживать коэффициент загрузки на уровне 88 % даже при сбоях оборудования, в то время как у традиционных методов этот показатель составляет 27 %. Система сокращает потребность в пропускной способности между центрами обработки данных до 0,84 Гбит/с, обеспечивает возможность глобального обучения через коммерческий Интернет, а также поддерживает самовосстановление и работу с гетерогенным оборудованием, таким как TPU разных поколений.