KI ist jenseits des menschlichen Wissens gewachsen, sagt die Deepmind -Einheit von Google

Fortschritte in der KI über traditionelle Tests hinaus: Der Aufstieg des erfahrungsbasierten Lernens

Das Feld der künstlichen Intelligenz (KI) ist voller Bestrebungen, generative KI über die Grenzen traditioneller Benchmarks wie den Turing-Test hinaus zu entwickeln, den viele Modelle bereits übertroffen haben. Der Fokus liegt nun darauf, KI zu entwickeln, die nicht nur darauf ausgelegt ist, diese Tests zu bestehen, sondern sich durch einen dynamischeren Prozess weiterentwickelt.

Forscher bei Googles DeepMind, darunter Legenden wie David Silver und Richard Sutton, argumentieren in ihrem Paper Willkommen im Zeitalter der Erfahrung, dass der Schlüssel zur Erschließung neuer KI-Fähigkeiten nicht in den Tests liegt, sondern in der Art und Weise, wie KI trainiert wird. Sie schlagen vor, dass die derzeit verwendeten statischen Datensätze zu begrenzt sind, um bedeutende Fortschritte zu fördern.

Ihre Lösung? KI muss auf eine erfahrungsbasiertere Weise mit der Welt interagieren, aus Interaktionen lernen und Ziele basierend auf Umweltfeedback setzen. „Unglaubliche neue Fähigkeiten werden entstehen, sobald das volle Potenzial des erfahrungsbasierten Lernens ausgeschöpft ist“, behaupten sie. Silver, bekannt für seine Arbeit an AlphaZero, das Menschen im Schach und Go besiegt hat, und Sutton, ein Pionier des bestärkenden Lernens, schlagen einen neuen Ansatz namens „Streams“ vor, um die Grenzen aktueller großer Sprachmodelle (LLMs) zu überwinden.

Vom bestärkenden Lernen zur generativen KI: Ein Wandel und seine Folgen

Nach den Erfolgen von AlphaZero und AlphaGo sah die KI-Gemeinschaft einen Wandel hin zu generativen KI-Modellen wie ChatGPT, die weitgehend vom bestärkenden Lernen weggegangen sind. Während dies der KI ermöglichte, ein breiteres Spektrum spontaner menschlicher Eingaben zu verarbeiten, bedeutete es auch den Verlust des Aspekts der Selbstentdeckung, den das bestärkende Lernen ermöglichte.

Laut Silver und Sutton stützen sich aktuelle LLMs stark auf menschliches Urteilsvermögen in der Prompt-Phase, was ihr Potenzial einschränkt. „Der Agent kann keine besseren Strategien entdecken, die vom menschlichen Bewerter unterschätzt werden“, erklären sie. Darüber hinaus erlaubt die kurze, abgehackte Natur von Prompt-Interaktionen der KI nicht, über einfache Frage-und-Antwort-Austausche hinauszugehen.

Einführung von Streams: Ein neues Paradigma für das KI-Lernen

Das vorgeschlagene „Zeitalter der Erfahrung“ beinhaltet KI-Agenten, die innerhalb von „Streams“ kontinuierlicher Interaktion operieren, ähnlich wie Menschen über ein Leben lang lernen. Silver und Sutton stellen sich KI-Agenten mit ihren eigenen langfristigen Erfahrungsströmen vor, die es ihnen ermöglichen, Ziele über unmittelbare Aufgaben hinaus zu verfolgen.

Dieser Ansatz baut auf bestärkendem Lernen auf, bei dem KI-Agenten mit einem Weltmodell interagieren und Rückmeldungen in Form von Belohnungen erhalten. Diese Belohnungen helfen der KI zu lernen, welche Aktionen in verschiedenen Kontexten wertvoll sind. Die Forscher weisen darauf hin, dass die Welt reich an Signalen ist, die als Belohnungen dienen können, von wirtschaftlichen Indikatoren bis hin zu Gesundheitsmetriken.

Aufbau von KI-Agenten mit langfristigen Zielen

Um diesen Prozess zu starten, könnten KI-Entwickler eine „Weltmodell“-Simulation verwenden, die es der KI ermöglicht, Vorhersagen zu treffen, diese in der Realität zu testen und ihr Modell basierend auf den Ergebnissen zu verfeinern. Während die KI weiterhin mit der Welt interagiert, entwickelt sich ihr Verständnis weiter, passt sich neuen Daten an und korrigiert Fehler.

Menschen würden weiterhin eine Rolle dabei spielen, breite Ziele festzulegen, wie etwa die Verbesserung der Fitness oder das Erlernen einer neuen Sprache, wobei die Belohnungsfunktion der KI auf diese Ziele ausgerichtet ist. Dieses Setup könnte zu KI-Assistenten führen, die über längere Zeiträume hinweg Gesundheit oder Bildung verfolgen und beraten oder sogar ehrgeizige wissenschaftliche Ziele wie die Entdeckung neuer Materialien oder die Reduzierung von Kohlenstoffemissionen verfolgen.

Die Zukunft der KI: Über das Denken hinaus zum erfahrungsbasierten Lernen

Die Forscher glauben, dass KI-Agenten, die zu langfristigem erfahrungsbasiertem Lernen fähig sind, aktuelle „denkende“ KI-Modelle wie Gemini und DeepSeeks R1 übertreffen könnten. Sie argumentieren, dass denkende Modelle oft menschliches Denken nachahmen, was durch veraltete Annahmen eingeschränkt sein kann. Im Gegensatz dazu könnten erfahrungsbasierte Agenten beispiellose Fähigkeiten freisetzen, die zu einer Zukunft führen, die sich stark von dem unterscheidet, was wir bisher gesehen haben.

Dieser Wandel bringt jedoch auch Risiken mit sich, wie etwa Arbeitsplatzverluste und die Herausforderung, KI-Agenten zu kontrollieren, die über lange Zeiträume autonom operieren können. Auf der anderen Seite könnte anpassungsfähige KI lernen, negative Auswirkungen auf Menschen zu mildern, indem sie ihr Verhalten basierend auf Feedback anpasst.

Silver und Sutton sind überzeugt, dass erfahrungsbasierte Daten die Skala und Qualität menschlich generierter Daten bei weitem übertreffen werden, was potenziell zu künstlicher allgemeiner Intelligenz oder Superintelligenz führen könnte. Dieser Paradigmenwechsel, gekoppelt mit Fortschritten im bestärkenden Lernen, könnte neue Fähigkeiten freisetzen, die in vielen Bereichen jenseits menschlicher Reichweite liegen.

Silver diskutierte diese Ideen kürzlich in einem DeepMind-Podcast und beleuchtete das Potenzial und die Herausforderungen, KI in das Zeitalter der Erfahrung zu führen.