A equipe Huan Yuan da Tencent redefine o tamanho do lote para o aprendizado por reforço de grandes modelos, aumentando a eficiência. Ao recalibrar o tamanho crítico do lote e ajustar as taxas de aprendizado, sua abordagem otimiza algoritmos de RL online como PPO e GRPO. Este método resolve as incompatibilidades entre as escalas de geração de rollout e treinamento, garantindo que cada resposta aprenda de forma eficaz sem diluição dos dados. Testes em cenários reais mostram um aumento de 2,29 vezes na taxa de processamento para PPO e uma redução de 29% no tempo para GRPO em hardware fixo. Essa estratégia permite que equipes de treinamento maximizem a utilização de GPUs, reduzindo significativamente os custos e acelerando o desenvolvimento de modelos sem exigir clusters maiores ou dados mais densos.