Das Team von Tencent Huan Yuan definiert die Batch-Größe für das Reinforcement Learning großer Modelle neu, um die Effizienz zu steigern. Durch die Neukalibrierung der kritischen Batch-Größe und die Anpassung der Lernraten optimiert ihr Ansatz Online-RL-Algorithmen wie PPO und GRPO. Diese Methode behebt Diskrepanzen zwischen der Rollout-Generierung und den Trainingsdimensionen und stellt sicher, dass jede Antwort effektiv lernt, ohne dass Daten verwässert werden. Praxis Tests zeigen eine 2,29-fache Steigerung des Durchsatzes für PPO und eine Reduzierung der Zeit um 29 % für GRPO auf derselben Hardware. Diese Strategie ermöglicht es Trainingsteams, die GPU-Auslastung zu maximieren, Kosten erheblich zu senken und die Modellenwicklung zu beschleunigen, ohne größere Cluster oder dickere Daten zu benötigen.