OpenClaw의 AReaL v1.0 프레임워크, AI 에이전트 동시 훈련 지원

3월 4일, 앤트 그룹(Ant Group)은 칭화대학교와 협력하여 오픈소스 강화 학습 훈련 프레임워크인 AReaL v1.0의 안정화 버전을 출시했습니다. 이번 릴리스는 “에이전트를 위한 원클릭 강화 학습 훈련 접근성”을 실현하는 데 중점을 두었습니다. 코드 수정 없이도 다양한 에이전트 프레임워크와 호환되며, 지능형 에이전트가 즉시 강화 학습 훈련을 시작할 수 있도록 지원합니다.

2026년 초부터 에이전트는 강력한 성장세를 이어오고 있습니다. LangChain, Claude Code, OpenClaw와 같은 프레임워크는 빠르게 발전해 왔으나, 두 가지 주요 병목 현상을 드러내고 있습니다. 첫째, 훈련 접근 장벽이 높습니다. 기존 에이전트 프레임워크는 다양한 인터페이스를 사용하기 때문에 통합을 위해 대량의 적응 코드가 필요한 경우가 많습니다. 둘째, 에이전트에는 지속적인 진화가 부족합니다. 대부분은 초기 훈련 단계에서 얻은 고정된 모델 가중치에 의존합니다. 일단 배포되면 특정 시나리오에 맞춰 추가로 최적화할 수 없으며, 기능은 출시 시점에 정해진 수준으로 제한됩니다.

AReaL은 최초의 완전 비동기식, 훈련-추론 분리형 대규모 강화 학습 시스템입니다. 이를 통해 에이전트는 실제 작업 상호작용을 통해 피드백을 받고 의사결정을 지속적으로 개선할 수 있습니다. v1.0 릴리스를 통해 모든 에이전트는 변경 없이 RL 훈련에 연결할 수 있습니다. 에이전트와 훈련 시스템 사이에 프록시 워커(Proxy Worker) 계층을 삽입함으로써, 개발자는 단일 요청 주소를 리디렉션하기만 하면 훈련을 활성화할 수 있습니다.

(그림: 에이전트에 원활하게 통합된 AReaL의 비동기 훈련 아키텍처)

인기 있는 OpenClaw 프레임워크를 예로 들어보겠습니다. 개발자는 OpenClaw 구성에서 `base_url`과 `api_key`를 AReaL 게이트웨이로 지정하기만 하면 됩니다. 그러면 OpenClaw 에이전트가 강화 학습 훈련에 연결됩니다. 에이전트는 평소와 같이 작업을 계속 수행하는 동안, 사용자는 주기적으로 그 성능을 평가합니다. AReaL은 이 훈련 데이터를 자동으로 수집하고 백그라운드에서 모델을 업데이트하여, 에이전트가 지속적인 사용을 통해 자율적으로 진화할 수 있도록 합니다.

AReaL v1.0 릴리스에서는 네이티브 훈련 엔진인 Archon도 도입되었습니다. PyTorch의 네이티브 기능을 기반으로 구축된 이 엔진은 데이터, 파이프라인, 텐서, 컨텍스트, 전문가 병렬 처리 등 완전한 5차원 병렬 처리를 구현하여 설치 및 디버깅의 장벽을 낮춥니다. 또한 훈련 및 추론을 위한 다양한 백엔드 옵션을 제공하여 서로 다른 환경에 걸쳐 유연한 배포를 용이하게 합니다. 놀랍게도 이 복잡한 분산 시스템은 단 1인월 만에 처음부터 개발 및 검증되었습니다. 32일 만에 거의 백만 줄의 코드가 수정되어 Archon 엔진을 완전히 구현했으며, 이를 통해 수십억 파라미터 규모의 Mixture-of-Experts(MoE) 모델을 훈련할 수 있게 되었습니다.

이러한 효율성 혁신의 비결은 매우 복잡한 엔지니어링 작업을 자동화하는 AReaL의 통합 AI 지원 개발 시스템에 있습니다.

AReaL v1.0은 기획 및 코딩부터 검증 및 PR 생성까지 전 과정을 지원하는 AI 지원 개발 워크플로를 특징으로 합니다. MoE 병렬화, 메모리 최적화, 알고리즘 구현과 같은 핵심 모듈을 작업할 때, 전담 AI 프로그래밍 어시스턴트가 수석 전문가 역할을 수행합니다. 이 어시스턴트는 코드 변경 시 적시에 맞춤형 지침을 제공하여 모든 수정 사항의 정확성을 보장합니다. AReaL의 AI 지원 프로그래밍은 단순한 생산성 도구를 넘어, 복잡한 인프라 프로젝트에서 "실질적인 결과물"을 도출하는 R&D 작업을 수행할 수 있어 AI 인프라 엔지니어링의 차세대 패러다임을 개척하고 있습니다.

AReaL 팀은 훈련 엔진, 사용 편의성, 다중 모드 에이전트 훈련을 지속적으로 개선해 나갈 것이라고 밝혔습니다. AReaL v1.0의 코드와 문서는 현재 inclusionAI 커뮤니티에서 오픈소스로 공개되었습니다.

· GitHub 저장소: https://github.com/inclusionAI/AReaL

· 관련 논문: https://arxiv.org/abs/2505.24298