KI ist jenseits des menschlichen Wissens gewachsen, sagt die Deepmind -Einheit von Google

Förderung der KI über traditionelle Tests hinaus: der Aufstieg des Erfahrungslernens

Das Gebiet der künstlichen Intelligenz (KI) summt sich mit Bemühungen, die generative KI über die Grenzen traditioneller Benchmarks wie der Turing -Test hinaus zu schieben, den viele Modelle bereits übertroffen haben. Der Fokus verlagert sich nun auf die Entwicklung von KI, die nicht nur darauf ausgelegt ist, diese Tests zu lösen, sondern sich durch einen dynamischeren Prozess zu entwickeln.

Forscher von Googles DeepMind, darunter Legends wie David Silver und Richard Sutton, argumentieren in ihrer Zeitung in der Ära der Erfahrung , dass der Schlüssel zur Erschließung neuer KI -Funktionen nicht in den Tests liegt, sondern in der Art und Weise, wie KI ausgebildet ist. Sie schlagen vor, dass die derzeit verwendeten statischen Datensätze zu beschränkt sind, um erhebliche Fortschritte zu fördern.

Ihre Lösung? KI muss sich auf experimentellere Weise mit der Welt beschäftigen, aus Interaktionen lernen und Ziele auf der Grundlage von Umweltfeedbacks festlegen. "Unglaubliche neue Fähigkeiten werden ergeben, sobald das volle Potenzial des Erfahrungslernens genutzt wird", behaupten sie. Silver, bekannt für seine Arbeiten an Alphazero, das Menschen bei Schach und Go besiegte, und Sutton, ein Pionier im Verstärkungslernen, schlägt einen neuen Ansatz vor, der als "Ströme" bezeichnet wird, um die Grenzen aktueller großer Sprachmodelle (LLMs) zu überwinden.

Vom Verstärkungslernen bis hin zu generativer KI: eine Verschiebung und ihre Folgen

Nach den Erfolgen von Alphazero und Alphago veränderte die KI -Community eine Verschiebung zu generativen KI -Modellen wie Chatgpt, die sich weitgehend vom Verstärkungslernen entfernen. Dies ermöglichte es der KI, mit einem breiteren Bereich spontaner menschlicher Eingaben zu handhaben, aber es bedeutete auch, den Aspekt der Selbstfindung zu verlieren, das das Verstärkungslernen ermöglichte.

Laut Silver und Sutton verlassen sich aktuelle LLMs stark auf das menschliche Urteilsvermögen in der schnellen Phase, was ihr Potenzial einschränkt. "Der Agent kann keine besseren Strategien entdecken, die vom menschlichen Bewerter unterschätzt werden", erklären sie. Darüber hinaus erlaubt die kurze, abgeschnittene Natur der schnellen Interaktionen nicht, dass KI sich über einfache Fragen und Antworten aus der Fragen entwickelt.

Einführung von Streams: Ein neues Paradigma für KI -Lernen

Das vorgeschlagene "Zeitalter der Erfahrung" umfasst KI -Agenten, die in "Strömen" der kontinuierlichen Interaktion arbeiten, ähnlich wie Menschen, die über ein Leben lang lernen. Silver und Sutton stellen sich AI-Agenten mit ihren eigenen langfristigen Erfahrungsströmen vor und ermöglichen es ihnen, Ziele über unmittelbare Aufgaben hinaus zu verfolgen.

Dieser Ansatz baut auf Verstärkungslernen auf, bei denen KI -Agenten mit einem Modell der Welt interagieren und Feedback in Form von Belohnungen erhalten. Diese Belohnungen helfen der KI dabei, zu lernen, welche Handlungen in verschiedenen Kontexten wertvoll sind. Die Forscher weisen darauf hin, dass die Welt reich an Signalen ist, die als Belohnungen dienen können, von Wirtschaftsindikatoren bis hin zu Gesundheitsmetriken.

Aufbau von KI-Agenten mit langfristigen Zielen

Um diesen Prozess zu starten, könnten KI -Entwickler eine "Weltmodell" -Simulation verwenden, sodass die KI Vorhersagen treffen, in der Realität testen und ihr Modell basierend auf den Ergebnissen verfeinern kann. Während die KI weiterhin mit der Welt interagiert, entwickelt sich ihr Verständnis, passt sich an neue Daten und korrigierende Fehler an.

Menschen würden immer noch eine Rolle bei der Festlegung breiter Ziele spielen, z. B. die Verbesserung der Fitness oder das Erlernen einer neuen Sprache, wobei die Belohnungsfunktion der KI auf diese Ziele abgestimmt ist. Dieses Setup könnte zu KI -Assistenten führen, die über längere Zeit über Gesundheit oder Bildung hinweg verfolgen und beraten oder sogar ehrgeizige wissenschaftliche Ziele wie die Entdeckung neuer Materialien oder die Reduzierung der Kohlenstoffemissionen verfolgen.

Die Zukunft der KI: Über das Erlebungslernen hinaus Argumentation

Die Forscher glauben, dass KI-Agenten, die mit langfristigem Erfahrungslernen in der Lage sind, die aktuellen "Argumentations" -KI-Modelle wie Gemini und Deepseeks R1 übertreffen könnten. Sie argumentieren, dass Argumentationsmodelle oft das menschliche Denken imitieren, was durch veraltete Annahmen eingeschränkt werden kann. Im Gegensatz dazu könnten Erfahrungsmittel beispiellose Fähigkeiten freischalten, was zu einer Zukunft führt, die sich stark von dem unterscheidet, was wir gesehen haben.

Diese Verschiebung bringt jedoch auch Risiken ein, wie z. B. die Verschiebung von Arbeitsplätzen und die Herausforderung, KI -Agenten zu kontrollieren, die über lange Zeiträume autonom funktionieren können. Auf der anderen Seite könnte die anpassbare KI lernen, negative Auswirkungen auf den Menschen zu mildern, indem sie ihr Verhalten anhand der Rückkopplung anpasst.

Silber und Sutton sind zuversichtlich, dass experimentelle Daten den Umfang und die Qualität von Daten von Menschen bei weitem übertreffen, was möglicherweise zu künstlicher allgemeiner Intelligenz oder Superintelligenz führt. Dieser Paradigmenverschiebung in Verbindung mit Fortschritten im Verstärkungslernen könnte neue Fähigkeiten über die menschliche Reichweite in vielen Bereichen freischalten.

Silver diskutierte diese Ideen in einem kürzlich erschienenen DeepMind -Podcast weiter und hob das Potenzial und die Herausforderungen der KI in die Ära der Erfahrung hervor.