オプション
家
速報
コンテンツ
SamuelClark
SamuelClark
2026年7月23日

XiaohongshuのDots Infraチームは、マルチモーダルLLM向けのパイプライン並列トレーニングパラダイム「BigMac」をオープンソース化しました。これは、エンコーダー/ジェネレーターの計算を最適化されたLLMスケジュールに組み込むことで、演算速度とメモリ使用量のトレードオフを解消します。 理解タスクにおいて、BigMacはメモリ使用量を安定させつつ、ベースラインと比較して1.08~1.9倍の速度向上を達成しました。生成タスクにおいては、OOM(メモリ不足)を回避しつつ、1.5~1.9倍の速度向上を実現しています。

XiaohongshuのDots Infraチームは、マルチモーダルLLM向けのパイプライン並列トレーニングパラダイム「BigMac」をオープンソース化しました。これは、エンコーダー/ジェネレーターの計算を最適化されたLLMスケジュールに組み込むことで、演算速度とメモリ使用量のトレードオフを解消します。 理解タスクにおいて、BigMacはメモリ使用量を安定させつつ、ベースラインと比較して1.08~1.9倍の速度向上を達成しました。生成タスクにおいては、OOM(メモリ不足)を回避しつつ、1.5~1.9倍の速度向上を実現しています。 XiaohongshuのDots Infraチームは、マルチモーダルLLM向けのパイプライン並列トレーニングパラダイム「BigMac」をオープンソース化しました。これは、エンコーダー/ジェネレーターの計算を最適化されたLLMスケジュールに組み込むことで、演算速度とメモリ使用量のトレードオフを解消します。 理解タスクにおいて、BigMacはメモリ使用量を安定させつつ、ベースラインと比較して1.08~1.9倍の速度向上を達成しました。生成タスクにおいては、OOM(メモリ不足)を回避しつつ、1.5~1.9倍の速度向上を実現しています。
コメント (0)
0/300
OR