AReaL 2.0 de código aberto: infraestrutura de RL para agentes que se autoevoluem por meio do uso

Em 2 de julho, o projeto de infraestrutura de aprendizado por reforço de código aberto AReaL lançou oficialmente a versão 2.0. O AReaL foi projetado para preencher a lacuna entre o treinamento de modelos fundamentais e as aplicações modernas de agentes, oferecendo suporte eficiente ao treinamento de aprendizado por reforço para cenários envolvendo agentes.

O recém-lançado AReaL 2.0 tem como alvo agentes que operam em ambientes empresariais do mundo real, fornecendo uma infraestrutura de sistema que permite o aprendizado contínuo enquanto os agentes estão em uso. Por meio do AReaL 2.0, os processos de interação gerados pelos agentes à medida que realizam tarefas reais podem ser registrados, organizados e integrados a ciclos de treinamento subsequentes. Esses processos são utilizados para refinar continuamente os modelos subjacentes, permitindo que os agentes se tornem mais eficientes, mantendo-se seguros e controláveis.

Atualmente, os agentes estão entrando em ambientes reais de produção — escrevendo código, buscando informações e acionando ferramentas para realizar tarefas cada vez mais complexas dentro de sistemas corporativos. No entanto, surgiu um problema: os agentes trabalham todos os dias, mas raramente aprendem com suas experiências.

Em cenários reais de negócios, os agentes geram uma grande quantidade de experiência valiosa: quais tarefas foram bem concluídas, onde as chamadas às ferramentas falharam, por que os usuários ficaram insatisfeitos e se uma determinada decisão estava no caminho errado. No entanto, essas informações são, em sua maioria, armazenadas em logs, o que dificulta transformá-las de forma estável e segura na próxima etapa de aprimoramento de capacidades.

O AReaL 2.0 visa resolver o problema de como os agentes continuam a evoluir após a implantação. Os desenvolvedores não precisam redesenvolver os agentes; basta redirecionar as solicitações que os agentes normalmente enviam a grandes modelos por meio do endpoint de inferência unificado do AReaL 2.0 para integrá-las ao processo de aprendizado por reforço online.

Figura: Diagrama da arquitetura de Aprendizado por Reforço Online (Online RL) do AReaL 2.0

Tomemos o agente Hermes como exemplo. O Hermes continua a receber tarefas, planejar etapas e chamar modelos como de costume. O AReaL 2.0 registra os principais processos de interação quando o Hermes conclui tarefas em segundo plano e utiliza essas trajetórias reais, combinadas com sinais de feedback ou recompensa após a conclusão da tarefa, para o treinamento subsequente. Os desenvolvedores também podem substituir o Hermes por seu próprio agente e ambiente de tarefas, utilizando a mesma abordagem para construir um processo de aprendizado por reforço online para agentes.

Isso significa que a melhoria da capacidade de um agente não depende mais exclusivamente de dados construídos manualmente, treinamento offline e reimplantação. Conversas com várias trocas de mensagens, chamadas de ferramentas, resultados de execução e sinais de feedback de tarefas reais podem se tornar materiais para o aprendizado do modelo.

Esse ponto é especialmente importante em cenários corporativos. Os agentes em fluxos de trabalho corporativos enfrentam tarefas reais, complexas e em constante mudança: repositórios de código podem ser atualizados, processos de negócios podem mudar, as necessidades dos usuários podem se alterar, e ferramentas e sistemas também podem sofrer alterações. Se as capacidades de um agente forem fixas após a implantação, ele terá dificuldade para se adaptar ao ambiente real ao longo do tempo. O AReaL 2.0 visa preencher a lacuna entre “ser capaz de usar ferramentas” e “ser capaz de aprender com o uso”.

Ao mesmo tempo, o aprendizado contínuo em cenários empresariais reais não pode se resumir simplesmente a “coletar dados e retreinar”. Os agentes podem acessar código, informações de clientes, bases de conhecimento corporativas e sistemas internos; portanto, o fluxo de treinamento deve levar em conta requisitos como controle de acesso, anonimização de dados, isolamento e auditoria. O AReaL 2.0 introduz um mecanismo de proxy de dados para os rastros dos agentes em seu projeto de sistema, permitindo que dados reais de tarefas sejam gerenciados e utilizados de maneira mais segura e controlável ao entrar no processo de treinamento.

A equipe do AReaL destacou em seu relatório técnico que o principal gargalo para agentes autoevolutivos não é apenas a robustez do modelo ou o grau de avanço do algoritmo de aprendizado por reforço, mas a falta de uma infraestrutura de aprendizado por reforço online que atenda a agentes reais. O AReaL 2.0 é uma atualização arquitetônica voltada para a próxima geração de aplicações de agentes: conectando serviços de agentes, rastros de tarefas reais, governança de dados e treinamento de aprendizado por reforço online, proporcionando aos agentes a base de engenharia prática para continuar aprendendo após a implantação.

De uma perspectiva de longo prazo, o AReaL 2.0 aponta para o paradigma de evolução da próxima geração de aplicações de agentes: os agentes não são mais ferramentas treinadas e implantadas uma única vez, mas sim recebem feedback continuamente em ambientes reais, transformando tanto o sucesso quanto o fracasso em experiência e aprimorando continuamente suas capacidades dentro de um limite seguro.

O projeto AReaL foi iniciado em 2024 por equipes que incluíram o Ant Group, a Universidade de Tsinghua e a Universidade de Ciência e Tecnologia de Hong Kong. Em maio de 2026, o AReaL saiu oficialmente do programa de incubação Ant InclusionAI e tornou-se uma comunidade independente de código aberto, juntando-se ao projeto PyTorch Foundation Ecosystem e integrando-se ainda mais ao ecossistema de infraestrutura de aprendizado por reforço dominante.

À medida que a comunidade se desenvolve de forma independente, o AReaL também continua a receber participação e apoio de parceiros do setor e do ecossistema de código aberto, incluindo a equipe do Huawei Cloud e a MindLab. No futuro, a AReaL continuará a se aperfeiçoar em áreas como aprendizado por reforço online, avaliação automatizada e treinamento de agentes multimodais, trabalhando com a comunidade para promover o desenvolvimento de ecossistemas de agentes autoevolutivos.

Atualmente, o relatório técnico e o código do AReaL 2.0 foram disponibilizados como código aberto.

· Repositório no GitHub: https://github.com/areal-project/AReaL

· Relatório técnico: https://arxiv.org/abs/2607.01120