Das AReaL v1.0-Framework von OpenClaw ermöglicht das parallele Training von KI-Agenten

Am 4. März veröffentlichte die Ant Group in Zusammenarbeit mit der Tsinghua-Universität die stabile Version des Open-Source-Trainingsframeworks für bestärkendes Lernen, AReaL v1.0. Im Mittelpunkt dieser Veröffentlichung steht die Ermöglichung eines „One-Click-Zugangs zum RL-Training für Agenten“. Es sind keine Codeänderungen erforderlich, das Framework ist mit verschiedenen Agenten-Frameworks kompatibel und ermöglicht es intelligenten Agenten, sofort mit dem Training im Bereich des bestärkenden Lernens zu beginnen.

Seit Anfang 2026 verzeichnen Agenten ein starkes Wachstum. Frameworks wie LangChain, Claude Code und OpenClaw haben rasante Fortschritte gemacht, weisen jedoch zwei wesentliche Engpässe auf. Erstens ist die Zugangsbarriere zum Training hoch: Bestehende Agenten-Frameworks verwenden unterschiedliche Schnittstellen, was oft umfangreiche Anpassungen des Codes für die Integration erfordert. Zweitens fehlt es den Agenten an kontinuierlicher Weiterentwicklung: Die meisten stützen sich auf feste Modellgewichte aus ihrer anfänglichen Trainingsphase. Nach der Bereitstellung können sie nicht weiter für spezifische Szenarien optimiert werden, sodass ihre Fähigkeiten auf den Stand zum Zeitpunkt der Einführung begrenzt bleiben.

AReaL ist das erste vollständig asynchrone, von Training und Inferenz entkoppelte groß angelegte System für verstärktes Lernen. Es ermöglicht Agenten, Feedback zu erhalten und ihre Entscheidungen durch Interaktionen mit realen Aufgaben kontinuierlich zu verfeinern. Die Version 1.0 ermöglicht es jedem Agenten, sich ohne Änderungen mit dem RL-Training zu verbinden. Durch Einfügen einer Proxy-Worker-Schicht zwischen dem Agenten und dem Trainingssystem müssen Entwickler lediglich eine einzige Anfrageadresse umleiten, um das Training zu aktivieren.

(Abbildung: Die asynchrone Trainingsarchitektur von AReaL, nahtlos in Agenten integriert)

Nehmen wir das beliebte OpenClaw-Framework als Beispiel. Entwickler müssen lediglich die `base_url` und den `api_key` in der OpenClaw-Konfiguration auf das AReaL-Gateway verweisen. Ihr OpenClaw-Agent ist dann mit dem Training für verstärktes Lernen verbunden. Der Agent führt seine Aufgaben wie gewohnt aus, während Nutzer seine Leistung regelmäßig bewerten. AReaL sammelt diese Trainingsdaten automatisch und aktualisiert das Modell im Hintergrund, sodass sich der Agent durch kontinuierlichen Einsatz autonom weiterentwickeln kann.

Die Version AReaL v1.0 führt zudem die native Trainings-Engine Archon ein. Aufgebaut auf den nativen Fähigkeiten von PyTorch, erreicht sie vollständige 5D-Parallelität – Daten-, Pipeline-, Tensor-, Kontext- und Experten-Parallelität – und senkt damit die Hürden bei Installation und Debugging. Sie bietet zudem mehrere Backend-Optionen für Training und Inferenz, was eine flexible Bereitstellung in verschiedenen Umgebungen ermöglicht. Bemerkenswert ist, dass dieses komplexe verteilte System in nur einem Mannmonat von Grund auf neu entwickelt und validiert wurde. Innerhalb von 32 Tagen wurden fast eine Million Zeilen Code modifiziert, um die Archon-Engine vollständig zu implementieren, sodass sie Mixture-of-Experts-Modelle (MoE) mit Milliarden von Parametern trainieren kann.

Das Geheimnis hinter diesem Effizienzdurchbruch ist das integrierte KI-gestützte Entwicklungssystem von AReaL, das hochkomplexe technische Aufgaben automatisiert.

AReaL v1.0 verfügt über einen KI-gestützten Entwicklungsworkflow, der durchgängige Unterstützung bietet – von der Planung und Codierung bis hin zur Verifizierung und Erstellung von PRs. Bei der Arbeit an Kernmodulen wie MoE-Parallelität, Speicheroptimierung und Algorithmusimplementierung fungiert ein dedizierter KI-Programmierassistent als leitender Experte. Er bietet zeitnahe, gezielte Anleitung bei Codeänderungen und gewährleistet so die Korrektheit jeder Modifikation. Die KI-gestützte Programmierung von AReaL ist mehr als nur ein Produktivitätswerkzeug; sie kann „umsetzbare“ F&E-Arbeiten in komplexen Infrastrukturprojekten übernehmen und damit das nächste Paradigma für KI-Infrastruktur-Engineering einläuten.

Das AReaL-Team hat angekündigt, die Trainings-Engines, die Benutzerfreundlichkeit und das Training multimodaler Agenten weiterzuentwickeln. Der Code und die Dokumentation für AReaL v1.0 sind nun in der inclusionAI-Community als Open Source verfügbar.

· GitHub-Repository: https://github.com/inclusionAI/AReaL

· Begleitender Artikel: https://arxiv.org/abs/2505.24298