El marco AReaL v1.0 de OpenClaw permite el entrenamiento simultáneo de agentes de IA

El 4 de marzo, Ant Group, en colaboración con la Universidad de Tsinghua, lanzó la versión estable del marco de código abierto para el entrenamiento del aprendizaje por refuerzo, AReaL v1.0. Este lanzamiento se centra en facilitar «el acceso al entrenamiento de RL con un solo clic para los agentes». No requiere modificaciones en el código, es compatible con diversos marcos de agentes y permite que los agentes inteligentes comiencen el entrenamiento de aprendizaje por refuerzo de forma inmediata.

Desde principios de 2026, los agentes han mantenido un fuerte impulso de crecimiento. Marcos como LangChain, Claude Code y OpenClaw han avanzado rápidamente, pero ponen de manifiesto dos importantes cuellos de botella. En primer lugar, la barrera de acceso al entrenamiento es elevada: los marcos de agentes existentes utilizan interfaces variadas, lo que a menudo requiere un extenso código de adaptación para su integración. En segundo lugar, los agentes carecen de una evolución continua: la mayoría se basa en pesos de modelo fijos desde su fase de entrenamiento inicial. Una vez desplegados, no pueden optimizarse más para escenarios específicos, y sus capacidades quedan limitadas desde el momento del lanzamiento.

AReaL es el primer sistema de aprendizaje por refuerzo a gran escala totalmente asíncrono y con separación entre entrenamiento e inferencia. Permite a los agentes recibir retroalimentación y refinar continuamente sus decisiones a través de interacciones con tareas del mundo real. La versión 1.0 permite a cualquier agente conectarse al entrenamiento de RL sin cambios. Al insertar una capa de Proxy Worker entre el agente y el sistema de entrenamiento, los desarrolladores solo necesitan redirigir una única dirección de solicitud para habilitar el entrenamiento.

(Figura: La arquitectura de entrenamiento asíncrono de AReaL perfectamente integrada en los agentes)

Tomemos como ejemplo el popular marco OpenClaw. Los desarrolladores solo tienen que apuntar `base_url` y `api_key` en la configuración de OpenClaw a la pasarela de AReaL. Su agente OpenClaw queda entonces conectado al entrenamiento de aprendizaje por refuerzo. El agente sigue realizando tareas con normalidad, mientras que los usuarios evalúan periódicamente su rendimiento. AReaL recopila automáticamente estos datos de entrenamiento y actualiza el modelo en segundo plano, lo que permite al agente evolucionar de forma autónoma a través del uso continuo.

La versión 1.0 de AReaL también introduce el motor de entrenamiento nativo, Archon. Basado en las capacidades nativas de PyTorch, alcanza un paralelismo 5D completo —paralelismo de datos, pipeline, tensores, contexto y expertos— lo que reduce las barreras de instalación y depuración. También ofrece múltiples opciones de backend para el entrenamiento y la inferencia, lo que facilita una implementación flexible en diferentes entornos. Cabe destacar que este complejo sistema distribuido se desarrolló y validó desde cero en tan solo un mes-persona. En 32 días, se modificaron casi un millón de líneas de código para implementar por completo el motor Archon, lo que le permite entrenar modelos Mixture-of-Experts (MoE) de miles de millones de parámetros.

El secreto detrás de este avance en eficiencia es el sistema de desarrollo asistido por IA integrado de AReaL, que automatiza tareas de ingeniería altamente complejas.

AReaL v1.0 cuenta con un flujo de trabajo de desarrollo asistido por IA que proporciona soporte de principio a fin, desde la planificación y la codificación hasta la verificación y la creación de PR. Al trabajar en módulos centrales como el paralelismo MoE, la optimización de la memoria y la implementación de algoritmos, un asistente de programación de IA dedicado actúa como un experto sénior. Proporciona orientación oportuna y específica durante los cambios de código, garantizando la corrección de cada modificación. La programación asistida por IA de AReaL es más que una simple herramienta de productividad; puede llevar a cabo trabajo de I+D «con resultados tangibles» en proyectos de infraestructura complejos, abriendo camino al próximo paradigma de la ingeniería de infraestructura de IA.

El equipo de AReaL ha declarado que seguirá iterando en los motores de entrenamiento, la usabilidad y el entrenamiento de agentes multimodales. El código y la documentación de AReaL v1.0 son ahora de código abierto en la comunidad inclusionAI.

· Repositorio de GitHub: https://github.com/inclusionAI/AReaL

· Artículo relacionado: https://arxiv.org/abs/2505.24298