RSI wird zum neuen AGI – ebenso schwer zu definieren

Der Begriff „Rekursion“ ist zum neuesten Schlagwort in der künstlichen Intelligenz geworden. Zwei unterschiedliche Start-ups haben ihn als Namen gewählt, und viele andere beziehen sich mittlerweile in ihren Entwicklungsplänen auf „Recursive Self-Improvement“ (RSI). Ähnlich wie zuvor „AGI“ hat sich RSI zu einer aus drei Buchstaben bestehenden Abkürzung für einen dramatischen Durchbruch in der KI entwickelt – auch wenn seine genaue Definition noch immer für Diskussionen sorgt.

Im Kern beschreibt RSI ein KI-System, das in der Lage ist, sich kontinuierlich selbst zu verbessern. Sobald diese Systeme den Verbesserungszyklus effektiver bewältigen können als Menschen, wird der Prozess zu einem geschlossenen Kreislauf, der nur durch die verfügbare Rechenleistung begrenzt ist, wobei menschliches Eingreifen überflüssig oder sogar kontraproduktiv wird.

Ob beunruhigend oder nicht – diese Vision verfolgen viele KI-Forschungslabore mit großem Eifer.

Anfang dieses Monats gründete der renommierte KI-Forscher Richard Socher ein Unternehmen mit dem treffenden Namen „Recursive Superintelligence“, dessen ausdrückliche Mission RSI ist. „Unser Hauptaugenmerk liegt auf der Entwicklung einer wirklich rekursiven, sich selbst verbessernden Superintelligenz in großem Maßstab“, erklärte Socher gegenüber TechCrunch bei der Gründung. „Das bedeutet, dass der gesamte Prozess der Generierung, Umsetzung und Validierung von Forschungsideen automatisiert würde.“

Mehrere andere prominente Forscher verfolgen dasselbe Ziel und hoffen auf einen Durchbruch, der rekursive Selbstverbesserung Wirklichkeit werden lässt.

Einer der bemerkenswertesten unter ihnen ist Alex Karpathy, eine legendäre Persönlichkeit von Tesla und OpenAI, der im Rahmen eines Projekts namens „Auto-Research“ Agentenschwärme einsetzt, um LLMs für einfache Aufgaben zu trainieren. Karpathy geht bei diesem Projekt ungewöhnlich transparent vor, twittert regelmäßig über Meilensteine und stellt die Bausteine über ein öffentliches GitHub-Repo zur Verfügung. Bislang konzentrierte sich die Arbeit weitgehend auf geringfügige Verbesserungen an einem Modell im GPT-2-Maßstab – wie Karpathy im März anmerkte: „Es ist (noch) keine neuartige, bahnbrechende ‚Forschung‘“ –, doch dies reichte aus, um viele andere Forscher davon zu überzeugen, den RSI-Traum weiterzuverfolgen. Da Karpathy nun bei Anthropic am Vortraining arbeitet, wird er reichlich Gelegenheit haben, das Konzept in größerem Maßstab anzuwenden.

Adaption – gegründet von Sara Hooker, einer ehemaligen Mitarbeiterin von Cohere und Google – hat kürzlich ein ähnliches Tool namens „AutoScientist“ auf den Markt gebracht, um das Training an der Modellgrenze zu automatisieren. Ähnlich wie Karpathys „Auto-Forscher“ trainiert das System Agenten darauf, schrittweise Verbesserungen zu erzielen, doch bei Adaption besteht das Ziel darin, das Training eines vollwertigen Frontier-Modells zu vereinfachen. Sollten dieselben Forscher beginnen, die Grenze weiter voranzutreiben, könnte sich das System schnell zu etwas entwickeln, das RSI sehr nahekommt.

Doris Xin, Gründerin von Disarray, weckte konkretes Interesse an RSI, als ihr selbsttrainierter Machine-Learning-Agent bei einem kürzlich stattgefundenen Kaggle-Wettbewerb 28 Medaillen gewann und dabei viele von Menschen trainierte Agenten übertraf. Aus ihrer Sicht ist die größte Herausforderung die Zuverlässigkeit.

„Ich würde behaupten, dass wir mit unbegrenzter Rechenleistung und einem unbegrenzten Zeithorizont bereits am Ziel sind“, sagte Xin mir. „Ich möchte argumentieren, dass dies eigentlich kein kreatives Unterfangen ist. Es handelt sich größtenteils um solide Ingenieursarbeit.“

Noch nicht ganz so weit

Es gibt zudem zahlreiche Anzeichen dafür, dass die KI-Branche noch weit von aussagekräftigen rekursiven Systemen entfernt ist – und nach wie vor Schwierigkeiten hat, ihre Fortschritte einer skeptischen Öffentlichkeit zu vermitteln. Google-CEO Sundar Pichai räumte dies kürzlich in einem Podcast-Interview im Wesentlichen ein.

„Es ist ein Kontinuum, und wir machen alle definitiv Fortschritte“, sagte Pichai. „Aber so, wie die Leute R.S.I. beschreiben, würde das eine nächste Stufe der Beschleunigung mit vielen Auswirkungen bedeuten, und so weit sind wir noch nicht ganz.“

Dennoch umfasst dieses Kontinuum eine Vielzahl sich selbst verbessernder KI-Systeme. Im Januar schätzte einer der leitenden Programmierer von Anthropic für „Claude Code“, dass „nahezu 100 %“ des Codes seines Teams von dem Tool geschrieben wurden – ein offenes Eingeständnis, dass sich „Claude Code“ buchstäblich selbst schrieb.

Nur weil Ingenieure ein KI-Tool nutzen, heißt das noch lange nicht, dass es sie ersetzen kann – doch Anthropic scheint auch dem Ersatz von Ingenieuren immer näher zu kommen. In einer kürzlich durchgeführten Umfrage im Zusammenhang mit der Mythos-Vorschau waren fünf von 18 Anthropic-Ingenieuren der Meinung, dass diese Version von Mythos mit weiteren Verbesserungen bald einen L4-Ingenieur ersetzen könnte – einen Programmierer der mittleren Ebene, der komplexe Projekte ohne Aufsicht bewältigen kann.

Dennoch blieben einige erwartete Schwächen bestehen.

„Zu den wichtigsten gemeldeten Schwächen von Claude im Vergleich zu einem L4 gehören: die selbstständige Bewältigung mehrwöchiger, vieldeutiger Aufgaben, das Verständnis für Unternehmensprioritäten, Geschmack, Verifizierung, das Befolgen von Anweisungen und Erkenntnistheorie“, heißt es in dem Bericht.

Mit anderen Worten: Seine Schwächen umfassen alles, was mit Selbststeuerung zu tun hat – und genau das ist die Grundlage von RSI. In allen anderen Bereichen ist Claude jedoch einsatzbereit.

Genau wie schon zuvor beim Begriff „AGI“ kann uns auch die KI-Branche nicht sagen, wie weit sie noch davon entfernt ist, ein bedeutungsvolles rekursives System zu demonstrieren. Als das Center for Security and Emerging Technology der Georgetown University im vergangenen Jahr eine Expertengruppe zur Untersuchung von RSI zusammenstellte, stellte die Gruppe eine große Meinungsverschiedenheit bei den Einschätzungen fest – einige sagten eine unmittelbar bevorstehende „Superintelligenz“-Explosion voraus, während andere langsamere Fortschritte und letztendlich eine Stagnation erwarteten. Doch alle waren sich einig, dass Rekursion die Zukunft besonders schwer vorhersehbar mache.

Helen Toner, Direktorin des CSET und ehemaliges Vorstandsmitglied bei OpenAI, erklärte gegenüber TechCrunch, dass der bloße Einsatz von KI-Tools zur Durchführung von KI-Forschung nicht ausreiche, um als RSI zu gelten. „Sie nutzen KI einfach so viel wie möglich“, sagt Toner gegenüber TechCrunch. „Und ich denke, das unterscheidet sich von der klassischen Definition von RSI, die eigentlich bedeutet, dass keine Menschen mehr benötigt werden.“

Toner verweist auf einen aktuellen Beitrag von Ajeya Cotra von METR, der verschiedene Meilensteine auf dem Weg zur Übernahme der KI-Forschung durch KI unterscheidet. Ein Schritt, den Cotra als „Adequanz“ bezeichnet, wäre erreicht, wenn das System auch nach dem vollständigen Wegfall aller Menschen noch Forschung betreiben kann – selbst wenn die daraus resultierenden Forschungsergebnisse weniger wertvoll oder effizient sind. „Parität“ ist erreicht, wenn ein reines KI-System in der Forschung genauso gut ist wie ein reines Menschensystem. „Überlegenheit“, die letzte Stufe, ist erreicht, wenn ein reines KI-System ein kollaboratives System aus Menschen und KI übertrifft.

Letztendlich kommt Cotra zu dem Schluss, dass KI sehr nahe an der Schwelle der „Adequacy“ ist, also der Fähigkeit, eigenständig gewisse Ergebnisse zu erzielen – ähnlich den schrittweisen Veränderungen, die durch Karpathys Auto-Research-System erzielt wurden. „Ich wäre nicht völlig überrascht, wenn man mir sagen würde, dass dieser Meilenstein bereits überschritten wurde, und ich gehe davon aus, dass dies in den nächsten paar Jahren geschehen wird“, schreibt Cotra.

Sie ist sich weniger sicher, wann die Parität eintreten wird, aber sobald dies geschieht, glaubt sie, dass dies „das Tempo des KI-Fortschritts massiv beschleunigen und innerhalb eines weiteren Jahres zur Vorherrschaft der KI-Forschung führen würde“.

Hürden auf dem Weg

Angesichts der Tatsache, dass ein Großteil der KI auf Skalierungsgesetzen basiert, besteht eine starke Tendenz anzunehmen, dass RSI derselben Kurve folgen wird. Toner meint, viele derjenigen, die KI-Forschung und -Entwicklung mittels RSI betreiben, „stellen sich das als eine ziemlich glatte Leiter vor, auf der man einfach immer weiter nach oben klettern kann“.

Doch selbst wenn KI-Forscher schrittweise Verbesserungen erzielen können, wie Karpathys „Auto-Forscher“, bleiben größere Herausforderungen bei der Übergabe des gesamten Forschungsprozesses bestehen. Toner betrachtet dies im Kontext der Geschichte der Informatik, in der Menschen immer mehr Teile des Prozesses abgegeben haben, während sie die Dinge weiterhin von oben lenken.

„Wir sind von Maschinensprachen über Assemblersprache zu kompilierten Sprachen übergegangen; man entfernt sich immer weiter vom Innenleben des Computers“, sagt Toner. „Aber der Mensch hat in gewisser intuitiver Hinsicht immer noch die Fäden in der Hand.“

Um dieses Paradigma zu überwinden, sind erhebliche Herausforderungen sowohl in der Technik als auch bei der Ausrichtung erforderlich. Doch selbst mit massiven Investitionen steht unendliche Rechenleistung nicht zur Verfügung – und der grundlegende Zielkonflikt zwischen menschlicher Arbeit und maschineller Intelligenz wird schwer zu überwinden sein.

Was ein vollständig rekursives KI-System aus apokalyptischen Visionen angeht? Das Einzige, worüber sich die Forscher weitgehend einig sind, ist, dass es – genau wie die AGI – noch nicht existiert.