El equipo de Tencent Huan Yuan redefine el tamaño del lote para el aprendizaje por refuerzo de modelos grandes con el fin de mejorar la eficiencia. Al recalibrar el tamaño crítico del lote y ajustar las tasas de aprendizaje, su enfoque optimiza algoritmos de RL en línea como PPO y GRPO. Este método resuelve las discrepancias entre la generación de respuestas y las escalas de entrenamiento, asegurando que cada respuesta aprenda de manera efectiva sin dilución de datos. Las pruebas en el mundo real muestran un aumento de 2,29 veces en el rendimiento para PPO y una reducción del 29% en el tiempo para GRPO en hardware fijo. Esta estrategia permite a los equipos de entrenamiento maximizar la utilización de las GPU, reduciendo significativamente los costos y acelerando el desarrollo de modelos sin necesidad de clusters más grandes o datos más densos.