Selbstlernende KI-Agenten für ein neues Web-Erlebnis: Ein Leitfaden zur Vorbereitung

In einem neuen Papier schlagen die prominenten KI-Forscher David Silver und Richard Sutton vor, dass die künstliche Intelligenz in eine transformative "Ära der Erfahrung" eintritt. Sie gehen davon aus, dass KI-Systeme zunehmend nicht mehr auf von Menschen bereitgestellte Daten angewiesen sein werden, sondern sich durch direkte Interaktion mit der Welt und Datenerfassung weiterentwickeln.

Obwohl es sich bei dem Papier um ein konzeptionelles und zukunftsorientiertes Werk handelt, sind seine Erkenntnisse von unmittelbarer Bedeutung für Unternehmen, die die Entwicklung und Integration künftiger KI-Agenten und -Systeme planen.

Sowohl Silver als auch Sutton sind angesehene Wissenschaftler, die in der Vergangenheit immer wieder genaue Vorhersagen über die Entwicklung der KI gemacht haben. Ihre Weitsicht zeigt sich in den fortschrittlichsten KI-Systemen von heute. In seinem einflussreichen Aufsatz "The Bitter Lesson" aus dem Jahr 2019 vertrat der Pionier des Reinforcement Learning die Ansicht, dass die bedeutendsten langfristigen Durchbrüche in der KI durchgängig aus der Skalierung der Allzwecksuche und des Lernens mit massiven Berechnungen resultieren und nicht in erster Linie aus der Einbettung komplexen menschlichen Wissens.

David Silver, ein leitender Wissenschaftler bei DeepMind, spielte eine führende Rolle bei der Entwicklung von AlphaGo, AlphaZero und AlphaStar - wichtigen Meilensteinen im Bereich des Deep Reinforcement Learning. Er war auch Mitverfasser eines Papiers aus dem Jahr 2021, in dem er behauptete, dass Verstärkungslernen in Kombination mit einem gut konzipierten Belohnungssignal letztlich zu hochentwickelter KI führen könnte.

Die heutigen hochentwickelten großen Sprachmodelle (LLMs) veranschaulichen diese beiden Konzepte. Die Welle leistungsstarker LLMs seit GPT-3 beruhte weitgehend auf der Skalierung von Rechenleistung und Daten, um immenses Wissen zu absorbieren. Neuere Denkmodelle wie DeepSeek-R1 zeigen außerdem, dass Verstärkungslernen mit einem einfachen Belohnungssignal ausreicht, um komplexe Denkfähigkeiten zu erwerben.

Was ist das Zeitalter der Erfahrung?

Das "Zeitalter der Erfahrung" baut auf Konzepten auf, die Sutton und Silver vertreten haben und die sie nun in den Kontext der jüngsten KI-Fortschritte gestellt haben. Die Autoren stellen fest, dass "das Tempo des Fortschritts, der allein durch überwachtes Lernen aus menschlichen Daten angetrieben wird, sich nachweislich verlangsamt, was die Notwendigkeit eines neuen Ansatzes signalisiert".

Dieser neue Ansatz erfordert eine neue Datenquelle, die auf eine Weise generiert wird, die sich kontinuierlich verbessert, wenn die Fähigkeiten des Agenten zunehmen. "Dies kann dadurch erreicht werden, dass Agenten kontinuierlich aus ihren eigenen Erfahrungen lernen, d. h. aus Daten, die durch die Interaktion des Agenten mit seiner Umgebung entstehen", erklären Sutton und Silver. Sie sind der Meinung, dass "Erfahrung letztendlich das dominierende Medium für Verbesserungen sein wird und den Umfang der menschlichen Daten, die in den heutigen Systemen verwendet werden, in den Schatten stellt".

Nach Ansicht der Autoren werden künftige KI-Systeme "die Grenzen menschlicher KI-Systeme durchbrechen", indem sie nicht nur aus Erfahrungsdaten lernen, sondern auch über vier Schlüsseldimensionen:

1. Ströme: Anstatt in isolierten Episoden zu agieren, werden KI-Agenten "über einen eigenen Erfahrungsstrom verfügen, der sich wie beim Menschen über einen langen Zeitraum entwickelt". Dies ermöglicht eine langfristige Planung und eine schrittweise Anpassung des Verhaltens. Erste Anzeichen dafür finden sich in KI-Systemen mit umfangreichen Kontextfenstern und Speicherarchitekturen, die durch Benutzerinteraktion kontinuierlich aktualisiert werden.
   
2. Handlungen und Beobachtungen: Im Zeitalter der Erfahrung werden Agenten nicht mehr nur Handlungen und Beobachtungen durchführen, die dem Menschen vorbehalten sind, sondern autonom in der realen Welt agieren. Wir sehen dies in agentenbasierten Systemen, die mit Hilfe von Tools wie der Computersteuerung und dem Model Context Protocol (MCP) eine Schnittstelle zu externen Anwendungen und Ressourcen bilden.
   
3. Belohnungen: Während derzeitige Reinforcement-Learning-Systeme in hohem Maße von menschlich gestalteten Belohnungsfunktionen abhängen, sollten künftige KI-Agenten ihre eigenen dynamischen Belohnungsfunktionen entwickeln. Diese würden sich im Laufe der Zeit weiterentwickeln und die Präferenzen des Benutzers mit dem realen Feedback aus den Aktionen und Beobachtungen des Agenten abgleichen. Frühe selbstgestaltende Belohnungssysteme wie Nvidias DrEureka geben einen Einblick in diese Zukunft.
   
4. Planung und logisches Denken: Derzeitige Denkmodelle sind oft so konzipiert, dass sie das menschliche Denken nachahmen. Die Autoren schlagen vor, dass "es sicherlich effizientere Denkmechanismen gibt, die nicht-menschliche Sprachen verwenden, die zum Beispiel symbolische, verteilte, kontinuierliche oder differenzierbare Berechnungen nutzen". KI-Agenten sollten sich mit der Welt auseinandersetzen und beobachtete Daten nutzen, um ihr Denken zu testen, zu verfeinern und zu aktualisieren, während sie ein internes Weltmodell aufbauen.

Das Konzept der KI-Agenten, die sich durch Verstärkungslernen anpassen, ist nicht neu, aber in der Vergangenheit waren solche Agenten auf eng begrenzte Umgebungen wie Brettspiele beschränkt. Jetzt sind Agenten, die in der Lage sind, sich in komplexen Umgebungen zurechtzufinden - z. B. in der Bedienung von Computern -, in Verbindung mit Fortschritten im Bereich des verstärkenden Lernens in der Lage, diese Beschränkungen zu überwinden und den Übergang in das Zeitalter der Erfahrung zu beschleunigen.

Was bedeutet dies für das Unternehmen?

Eine wichtige Beobachtung in Suttons und Silvers Arbeit für reale Anwendungen lautet: Der Agent kann "menschenfreundliche" Aktionen und Beobachtungen verwenden, wie z. B. Benutzeroberflächen, die die Kommunikation und Zusammenarbeit mit dem Benutzer auf natürliche Weise erleichtern. Der Agent kann auch 'maschinenfreundliche' Aktionen durchführen, die Code ausführen und APIs aufrufen, so dass der Agent im Dienste seiner Ziele autonom handeln kann."

Das Zeitalter der Erfahrung bedeutet, dass Entwickler Anwendungen sowohl für menschliche Benutzer als auch für KI-Agenten entwerfen müssen. Maschinenfreundliche Aktionen erfordern sichere, zugängliche APIs, die direkt oder über Schnittstellen wie MCP verfügbar sind. Dazu gehört auch die Entwicklung von Agenten, die über Protokolle wie Googles Agent2Agent auffindbar sind. Die Entwicklung von APIs und Agentenschnittstellen, die Zugriff auf Aktionen und Beobachtungen gewähren, ermöglicht es den Agenten, aus ihren Interaktionen mit Ihrer Software nach und nach Schlüsse zu ziehen und zu lernen.

Wenn die Vision von Sutton und Silver Wirklichkeit wird, werden schließlich Milliarden von Agenten im Internet - und später auch in der physischen Welt - arbeiten, um Aufgaben zu erfüllen. Ihr Verhalten und ihre Anforderungen werden sich grundlegend von denen menschlicher Benutzer unterscheiden. Die Etablierung agentenfreundlicher Interaktionsmethoden wird entscheidend sein, um künftige KI-Systeme effektiv zu nutzen und potenzielle Risiken zu minimieren.

"Indem wir auf den Grundlagen von RL aufbauen und ihre Kernprinzipien an die Herausforderungen dieser neuen Ära anpassen, können wir das volle Potenzial des autonomen Lernens freisetzen und den Weg zu wahrhaft übermenschlicher Intelligenz ebnen", so Sutton und Silver abschließend.

DeepMind lehnte es ab, weitere Kommentare zu diesem Artikel abzugeben.