AReaL 2.0 オープンソース：利用を通じて自己進化するエージェントのための強化学習インフラストラクチャ

7月2日、オープンソースの強化学習インフラストラクチャプロジェクト「AReaL」がバージョン2.0を正式にリリースした。AReaLは、基盤モデルの学習と最新のエージェントアプリケーションとの間のギャップを埋めることを目的としており、エージェントシナリオに向けた効率的な強化学習のトレーニング支援を提供する。

新たにリリースされたAReaL 2.0は、実世界のビジネス環境で稼働するエージェントを対象としており、エージェントが稼働中に継続的な学習を可能にするシステムインフラストラクチャを提供します。 AReaL 2.0を通じて、エージェントが実際のタスクを遂行する際に生成される相互作用プロセスを記録・整理し、その後のトレーニングサイクルに統合することが可能になります。これらのプロセスは基盤となるモデルを継続的に改良するために活用され、エージェントが安全性と制御性を維持しつつ、より強力になることを可能にします。

現在、エージェントは実際の運用環境に導入されつつあり、コードの記述、情報の検索、ツールの呼び出しなどを行い、企業システム内でますます複雑化するタスクを遂行しています。しかし、ある問題が浮上しています。エージェントは毎日稼働しているものの、その経験から成長することはほとんどないのです。

実際のビジネスシナリオにおいて、エージェントは膨大な量の貴重な経験を生成しています。どのタスクがうまく完了したか、どこでツールの呼び出しが失敗したか、ユーザーが不満を抱いた理由は何か、特定の判断が誤った方向に向かっていたかどうかなどです。しかし、この情報のほとんどはログに保存されているだけであり、能力向上の次のステップへと安定的かつ安全に転用することは困難です。

AReaL 2.0は、エージェントがデプロイされた後も成長し続けるという課題の解決を目指しています。開発者はエージェントを再開発する必要はなく、エージェントが通常大規模モデルに送信するリクエストを、AReaL 2.0の統合推論エンドポイント経由でルーティングするだけで、オンライン強化学習プロセスに統合できます。

図：AReaL 2.0 オンライン強化学習（Online RL）アーキテクチャ図

例として、Hermesエージェントを取り上げます。Hermesは、従来通りタスクを受け取り、ステップを計画し、モデルを呼び出し続けます。 AReaL 2.0は、Hermesがタスクを完了する際の主要な相互作用プロセスをバックグラウンドで記録し、これらの実際の軌跡を、タスク完了後のフィードバックや報酬信号と組み合わせて、その後の学習に活用します。開発者は、Hermesを独自のエージェントやタスク環境に置き換え、同じアプローチを用いてエージェント向けのオンライン強化学習プロセスを構築することも可能です。

つまり、エージェントの能力向上は、もはや手動で構築されたデータ、オフライン学習、再デプロイのみに依存しなくなる。マルチターン会話、ツール呼び出し、実行結果、そして実際のタスクからのフィードバック信号のすべてが、モデル学習の材料となり得る。

この点は、特にエンタープライズ環境において重要です。エンタープライズワークフローにおけるエージェントは、現実的で複雑かつ絶えず変化するタスクに直面します。コードリポジトリが更新されたり、ビジネスプロセスが変更されたり、ユーザーのニーズが変化したり、ツールやシステムも変更されたりする可能性があります。エージェントの能力が一度デプロイされると固定されてしまう場合、時間の経過とともに実際の環境に適応することが困難になります。 AReaL 2.0は、「ツールを使用できること」と「使用から学習できること」の間の欠落したリンクを埋めることを目指しています。

同時に、実際のビジネスシナリオにおける継続的な学習は、単に「データを収集して再学習する」だけでは不十分です。エージェントはコード、顧客情報、企業のナレッジベース、内部システムにアクセスする可能性があるため、トレーニングパイプラインでは、アクセス制御、データの匿名化、隔離、監査といった要件を考慮する必要があります。 AReaL 2.0は、システム設計においてエージェントのトレース用のデータプロキシメカニズムを導入しており、これにより、実際のタスクデータがトレーニングプロセスに入る際、より安全かつ制御可能な方法で管理・利用できるようになります。

AReaLチームは技術報告書の中で、自己進化型エージェントにとっての主要なボトルネックは、モデルの性能の高さや強化学習アルゴリズムの先進性だけでなく、実際のエージェントにサービスを提供するオンライン強化学習インフラの欠如にあると指摘しています。 AReaL 2.0は、次世代のエージェントアプリケーションを視野に入れたアーキテクチャのアップグレードであり、エージェントサービス、実際のタスクトレース、データガバナンス、およびオンライン強化学習トレーニングを連携させることで、エージェントにデプロイ後も学習を継続するための実用的なエンジニアリング基盤を提供します。

長期的な視点から見ると、AReaL 2.0は次世代エージェントアプリケーションの進化パラダイムを示唆しています。すなわち、エージェントはもはや一度だけ学習してデプロイされるツールではなく、実環境で継続的にフィードバックを得て、成功も失敗も経験へと変換し、安全な範囲内で能力を継続的に向上させていく存在となるのです。

AReaLプロジェクトは、2024年にAnt Group、清華大学、香港科技大学などのチームによって立ち上げられました。 2026年5月、AReaLはAnt InclusionAIのインキュベーションプログラムを正式に卒業し、独立したオープンソースコミュニティとなりました。また、PyTorch Foundationのエコシステムプロジェクトに参加し、強化学習の主流インフラエコシステムへの統合をさらに進めています。

コミュニティが独自に発展する中、AReaLはHuawei CloudチームやMindLabをはじめとする産業界およびオープンソースエコシステムのパートナーからの参加と支援を引き続き受けています。 今後もAReaLは、オンライン強化学習、自動評価、マルチモーダルエージェントのトレーニングなどの分野で継続的に改良を重ね、コミュニティと協力して自己進化型エージェントエコシステムの開発を推進していきます。

現在、AReaL 2.0の技術レポートおよびコードはオープンソース化されています。

・GitHubリポジトリ：https://github.com/areal-project/AReaL

・技術レポート：https://arxiv.org/abs/2607.01120