집
샤오홍슈(Xiaohongshu)의 Dots Infra 팀은 다중 모달 대규모 언어 모델(LLM)을 위한 파이프라인 병렬 훈련 패러다임인 ‘BigMac’을 오픈소스로 공개했습니다. 이 방식은 인코더/제너레이터 연산을 최적화된 LLM 스케줄에 중첩시켜, 연산 속도와 메모리 사용량 간의 상충 관계를 해소합니다. 이해 과제에서 BigMac은 메모리 사용량이 안정적인 상태에서 기준 모델 대비 1.08~1.9배의 속도 향상을 달성했으며, 생성 과제에서는 메모리 부족(OOM) 현상을 방지하면서 1.5~1.9배의 속도 향상을 제공했습니다.
의견 (0)
0/300
