XiaohongshuのDots Infraチームは、マルチモーダルLLM向けのパイプライン並列トレーニングパラダイム「BigMac」をオープンソース化しました。これは、エンコーダー/ジェネレーターの計算を最適化されたLLMスケジュールに組み込むことで、演算速度とメモリ使用量のトレードオフを解消します。 理解タスクにおいて、BigMacはメモリ使用量を安定させつつ、ベースラインと比較して1.08~1.9倍の速度向上を達成しました。生成タスクにおいては、OOM(メモリ不足)を回避しつつ、1.5~1.9倍の速度向上を実現しています。





家
