AReaL 2.0 오픈 소스: 사용을 통한 자가 진화 에이전트를 위한 강화 학습 인프라

7월 2일, 오픈소스 강화학습 인프라 프로젝트인 AReaL이 공식적으로 2.0 버전을 출시했습니다. AReaL은 기초 모델 훈련과 최신 에이전트 애플리케이션 간의 격차를 해소하도록 설계되어, 에이전트 시나리오에 대한 효율적인 강화학습 훈련 지원을 제공합니다.

새롭게 출시된 AReaL 2.0은 실제 비즈니스 환경에서 작동하는 에이전트를 대상으로 하며, 에이전트가 사용 중인 동안에도 지속적인 학습이 가능하도록 하는 시스템 인프라를 제공합니다. AReaL 2.0을 통해 에이전트가 실제 작업을 수행하면서 생성하는 상호작용 과정을 기록하고, 체계화하며, 후속 훈련 주기에 통합할 수 있습니다. 이러한 과정은 기반 모델을 지속적으로 개선하는 데 활용되어, 에이전트가 안전하고 제어 가능한 상태를 유지하면서 더욱 강력해질 수 있도록 합니다.

현재 에이전트들은 실제 운영 환경에 진입하여, 기업 시스템 내에서 코드를 작성하고, 정보를 검색하며, 도구를 호출해 점점 더 복잡해지는 작업을 수행하고 있습니다. 그러나 한 가지 문제가 대두되었습니다. 에이전트들은 매일 업무를 수행하지만, 그 경험을 통해 성장하는 경우는 드뭅니다.

실제 비즈니스 시나리오에서 에이전트는 어떤 작업이 잘 완료되었는지, 도구 호출이 어디서 실패했는지, 사용자가 왜 불만족했는지, 특정 결정이 잘못된 방향이었는지 등 방대한 양의 귀중한 경험을 생성합니다. 그러나 이러한 정보는 대부분 로그에 저장되어 있어, 이를 안정적이고 안전하게 다음 단계의 역량 향상으로 전환하기 어렵습니다.

AReaL 2.0은 에이전트가 배포된 후에도 지속적으로 성장할 수 있는 방안을 모색합니다. 개발자는 에이전트를 재개발할 필요가 없으며, 에이전트가 일반적으로 대규모 모델로 전송하는 요청을 AReaL 2.0의 통합 추론 엔드포인트를 통해 라우팅하기만 하면 온라인 강화 학습 프로세스에 통합할 수 있습니다.

그림: AReaL 2.0 온라인 강화 학습(Online RL) 아키텍처 다이어그램

Hermes 에이전트를 예로 들어 보겠습니다. Hermes는 평소와 같이 계속해서 작업을 수신하고, 단계를 계획하며, 모델을 호출합니다. AReaL 2.0은 백그라운드에서 헤르메스가 작업을 완료할 때 주요 상호작용 과정을 기록하고, 이러한 실제 궤적과 작업 완료 후의 피드백 또는 보상 신호를 결합하여 후속 훈련에 활용합니다. 개발자는 헤르메스를 자체 에이전트 및 작업 환경으로 대체하고, 동일한 접근 방식을 사용하여 에이전트를 위한 온라인 강화 학습 프로세스를 구축할 수도 있습니다.

이는 에이전트의 역량 향상이 더 이상 수동으로 구축된 데이터, 오프라인 훈련, 재배포에만 의존하지 않음을 의미합니다. 다중 턴 대화, 도구 호출, 실행 결과, 실제 작업에서 발생하는 피드백 신호 등이 모두 모델 학습의 자료가 될 수 있습니다.

이 점은 특히 기업 환경에서 중요합니다. 기업 워크플로우 내의 에이전트는 실제적이고 복잡하며 끊임없이 변화하는 과제에 직면합니다. 코드 저장소가 업데이트되거나, 비즈니스 프로세스가 변경되거나, 사용자 요구가 변동하거나, 도구와 시스템이 바뀔 수도 있습니다. 에이전트의 역량이 배포 시점에 고정된다면, 시간이 지남에 따라 실제 환경에 적응하는 데 어려움을 겪게 될 것입니다. AReaL 2.0은 “도구를 사용할 수 있는 능력”과 “사용 경험을 통해 학습할 수 있는 능력” 사이의 연결 고리를 메우는 것을 목표로 합니다.

동시에, 실제 비즈니스 시나리오에서의 지속적인 학습은 단순히 “데이터를 수집하고 재훈련하는 것”에 그쳐서는 안 됩니다. 에이전트는 코드, 고객 정보, 기업 지식 기반, 내부 시스템에 접근할 수 있으므로, 훈련 파이프라인은 접근 제어, 데이터 익명화, 격리, 감사 등의 요구 사항을 고려해야 합니다. AReaL 2.0은 시스템 설계에 에이전트 추적 정보를 위한 데이터 프록시 메커니즘을 도입하여, 실제 작업 데이터가 훈련 과정에 투입될 때 보다 안전하고 통제 가능한 방식으로 관리 및 활용될 수 있도록 합니다.

AReaL 팀은 기술 보고서에서, 자가 진화 에이전트의 핵심 병목 현상은 모델의 성능이나 강화 학습 알고리즘의 발전 정도뿐만 아니라, 실제 에이전트에 서비스를 제공하는 온라인 강화 학습 인프라의 부재에 있다고 지적했습니다. AReaL 2.0은 차세대 에이전트 애플리케이션을 목표로 하는 아키텍처 업그레이드입니다. 에이전트 서비스, 실제 작업 트레이스, 데이터 거버넌스, 온라인 강화 학습 훈련을 연결하여, 에이전트가 배포 후에도 학습을 지속할 수 있는 실질적인 엔지니어링 기반을 제공합니다.

장기적인 관점에서 볼 때, AReaL 2.0은 차세대 에이전트 애플리케이션의 진화 패러다임을 제시합니다. 즉, 에이전트는 더 이상 일회성으로 훈련되어 배포되는 도구가 아니라, 실제 환경에서 지속적으로 피드백을 얻으며 성공과 실패를 모두 경험으로 전환하고, 안전한 범위 내에서 지속적으로 역량을 향상시키는 존재가 됩니다.

AReaL 프로젝트는 2024년 앤트 그룹(Ant Group), 칭화대학교, 홍콩과학기술대학교 등 여러 팀이 주도하여 시작되었습니다. 2026년 5월, AReaL은 Ant InclusionAI 인큐베이션 프로그램을 공식적으로 졸업하고 독립적인 오픈소스 커뮤니티가 되었으며, PyTorch 재단 생태계 프로젝트에 합류하여 주류 강화 학습 인프라 생태계에 더욱 깊이 통합되었습니다.

커뮤니티가 독립적으로 발전함에 따라, AReaL은 화웨이 클라우드(Huawei Cloud) 팀과 MindLab을 비롯한 업계 및 오픈소스 생태계 파트너들의 지속적인 참여와 지원을 받고 있습니다. 앞으로도 AReaL은 온라인 강화 학습, 자동 평가, 다중 모달 에이전트 훈련 등의 분야에서 지속적으로 개선을 거듭하며, 커뮤니티와 협력하여 자가 진화형 에이전트 생태계의 발전을 이끌어 나갈 것입니다.

현재 AReaL 2.0 기술 보고서와 소스 코드가 오픈소스로 공개되었습니다.

· GitHub 저장소: https://github.com/areal-project/AReaL

· 기술 보고서: https://arxiv.org/abs/2607.01120