집
구글 딥마인드(Google DeepMind)는 대규모 AI 모델을 위한 분산 훈련 아키텍처인 ‘Decoupled DiLoCo’를 공개했다. 이 아키텍처는 비동기식 결함 격리 학습 유닛을 활용해 하드웨어 장애 발생 시에도 88%의 활용도를 유지하는데, 이는 기존 방식의 27%와 대비되는 수치다. 이 시스템은 데이터 센터 간 대역폭 요구량을 0.84Gbps로 대폭 줄여주며, 상용 인터넷을 통한 글로벌 훈련을 가능하게 하고, 자가 복구 기능과 서로 다른 세대의 TPU와 같은 이기종 하드웨어를 지원한다.
의견 (0)
0/300
