MoE-Training mit langem Kontext

Stabile Dokumentation: @docs/training/moe-optimization.md Karte: @skills/nemo-mbridge-perf-moe-long-context/card.yaml

Was sich bei langen Kontexten ändert

Sobald die Sequenzlänge deutlich über den Bereich der 4K-Klasse hinausgeht, werden das Aufmerksamkeitsspeicher und die Aktivierungsresidenz zu den dominierenden Einschränkungen. Für MoE-Modelle bedeutet das in der Regel, dass eine Kombination aus folgenden Faktoren erforderlich ist:

• Kontextparallelität
• selektive Neuberechnung
• geringere Genauigkeit
• CPU-Auslagerung des Optimiererstatus
• einen Dispatcher und ein PP-Layout, die das verbleibende, geringere DP-Budget nicht verschwenden

Gerundete Skalierungsmuster

DSV3 auf H100

Die DSV3-Läufe mit langem Kontext zeigen ein stabiles Muster:

• Die selektive Neuberechnung funktioniert besser als die vollständige Neuberechnung, sobald man die kürzesten Kontexte hinter sich gelassen hat
• Der Durchsatz bleibt bei mittellangen bis sehr langen Kontexten in einem relativ engen Bereich, sofern die CP entsprechend erhöht wird
• verlagert sich der Kompromiss mit steigendem CP von „Speicherpassung“ hin zur „Machbarkeit hinsichtlich der GPU-Anzahl“

Mit anderen Worten: Lange Kontexte führen nicht sofort zu einem Einbruch der Auslastung, wenn das Layout gut gewählt ist, verbrauchen jedoch das DP-Budget sehr schnell.

Qwen3-Next auf GB200

Qwen3-Next verhält sich eher wie ein speicherempfindliches Modell mittlerer Größe:

• 8K und 32K bleiben bei moderatem CP praktikabel
• 64K ist möglich, aber der Durchsatzrückgang ist spürbar und der Speicher wird deutlich knapper
• Verbesserungen beim Pipeline-Layout und bei gruppierten GEMMs sind fast genauso wichtig wie die CP

Qwen3 235B auf GB200

Qwen3 235B zeigt, dass lange Kontexte auf NVL72-Systemen immer noch effizient sein können, wenn TP, CP und HybridEP aufeinander abgestimmt sind. Die besten Konfigurationen der 128K-Klasse sind nicht nur „Fit-only“-Rezepte; sie können hoch effizient bleiben, wenn Routing, Parallelität und Neuberechnung ausgewogen sind.

Faustregeln für die CP-Dimensionierung

1. Beginnen Sie mit einem 4K-Shard-Ziel: Ein guter erster Anhaltspunkt ist CP ~= seq_len / 4096, anschließend auf ein praktisches „Power-of-Two“-Layout runden.

2. Halten Sie DP nach Möglichkeit am Leben: Die Skalierung bei langen Kontexten wird instabil, sobald CP, EP, TP und PP gemeinsam DP auf den Mindestwert drücken.

3. Bevorzugen Sie selektives Neuberechnen: Berechnen Sie Module wie up_proj, norm, moe, moe_act oder mlp neu, bevor Sie auf eine vollständige Neuberechnung zurückgreifen.

4. Vermeide SDPA-intensive Neuberechnungen bei sehr langem Kontext: Die Neuberechnung der internen Attention-Strukturen kann viel Arbeit verursachen und bringt dabei weniger Speichervorteile als die Neuberechnung kleinerer Module auf der MoE- und MLP-Seite.

5. Nutzen Sie TP als weiteren Hebel auf NVL72-Systemen: Bei GB200- und GB300-Läufen lässt sich manchmal ein Teil von CP gegen TP eintauschen, ohne dass die Effizienz darunter leidet.

6. Gehen Sie davon aus, dass GBS verkleinert werden muss: Wenn CP steigt und DP sinkt, müssen Sie möglicherweise die globale Batchgröße reduzieren oder eine höhere GA in Kauf nehmen.

Repräsentative Konfigurationsfamilien

DSV3 mit 128K auf H100

TP=1  CP=32  EP=32  PP=8  VPP=4
Genauigkeit: FP8-Klasse
Dispatcher: DeepEP
Neuberechnung: up_proj, norm, moe, mlp
Zusätzliche Speicherunterstützung: CPU-Offload durch den Optimierer

DSV3 mit 256K auf H100

TP=1  CP=64  EP=32  PP=8  EDP=2  VPP=4
Genauigkeit: FP8-Klasse
Dispatcher: DeepEP
Neuberechnung: up_proj, norm, moe, mlp
Zusätzliche Speicherunterstützung: CPU-Offload durch den Optimierer

Qwen3 235B bei 128K auf GB200

TP=4  CP=4  EP=32  PP=4  VPP=12
Genauigkeit: BF16 oder MXFP8
Dispatcher: HybridEP
Neuberechnung: moe_act, norm
CUDA-Graph: attn + moe_router + moe_preprocess

Leitfaden zu „Recompute“ und CUDA-Graph

Für MoE-Training mit langem Kontext:

• Beginnen Sie mit selektiver Neuberechnung
• Fügen Sie CUDA-Graphen erst hinzu, wenn die Shapes und der Routing-Pfad stabil sind
• Halten Sie bei der Verwendung von CUDA-Graphen die Sequenzlänge und den MBS konstant
• Wenn der Lauf von stark dynamischen Batches abhängt, Eager-Ausführung bevorzugen

Nützliche Referenzen:

• @docs/training/activation-recomputation.md
• @skills/nemo-mbridge-perf-cuda-graphs/SKILL.md

Fallstricke

1. CP ersetzt weder EP noch PP: Es fügt eine weitere Dimension hinzu; es lässt die anderen nicht verschwinden.

2. Eine gute 4K-Baseline kann dennoch eine schlechte Baseline für lange Kontexte sein: Routing-Modus, Wahl der Neuberechnung und Offload-Strategie müssen oft angepasst werden.

3. Die Machbarkeit hinsichtlich der Anzahl der GPUs wird zur eigentlichen Einschränkung: Ein sehr langer Kontext kann in einem einzelnen Rezept gut aussehen, wird dann aber unmöglich, sobald EP und PP konsequent über das gesamte Modell hinweg hinzugefügt werden.

4. CUDA-Graphen benötigen statische Strukturen: Batches variabler Länge und opportunistische Auffüllstrategien können den Pfad unbemerkt unterbrechen.

5. Die Unterstützung von Containern und Kerneln gewinnt ab 128K+ an Bedeutung: Pfade mit langem Kontext sind tendenziellstärker auf neuere Kernel und Fehlerbehebungen angewiesen als der Bring-up bei kurzem Kontext.