AI Skaling Breakthrough von Experten in Frage gestellt

Auf Social Media gibt es Aufregung über Forscher, die ein neues KI-"Skalierungsgesetz" entdeckt haben, aber Experten bleiben skeptisch. KI-Skalierungsgesetze, eher informelle Richtlinien, zeigen, wie KI-Modelle besser werden, wenn man mehr Daten und Rechenleistung einsetzt. Bis vor etwa einem Jahr war der große Trend das "Pre-Training" – also größere Modelle mit größeren Datensätzen trainieren. Das ist immer noch relevant, aber jetzt gibt es zwei weitere Skalierungsgesetze: Post-Training-Skalierung, bei der das Verhalten eines Modells optimiert wird, und Testzeit-Skalierung, bei der während der Inferenz mehr Rechenleistung genutzt wird, um die "Denkfähigkeiten" eines Modells zu verbessern (siehe Modelle wie R1).

Kürzlich veröffentlichten Forscher von Google und UC Berkeley ein Paper, das online als viertes Gesetz bezeichnet wird: "Inferenzzeit-Suche". Diese Methode lässt das Modell mehrere mögliche Antworten auf eine Anfrage gleichzeitig ausgeben und die beste auswählen. Die Forscher behaupten, sie könne die Leistung eines älteren Modells wie Googles Gemini 1.5 Pro steigern, um OpenAIs o1-preview-"Denkmodell" bei Wissenschafts- und Mathematik-Benchmarks zu übertreffen.

Eric Zhao, Google-Doktorand und Mitautor des Papers, teilte auf X mit, dass Gemini 1.5 – von ihm scherzhaft als "uraltes Früh-2024-Modell" bezeichnet – durch zufälliges Testen von 200 Antworten und Selbstverifikation o1-preview schlagen und sich o1 annähern könne. Er betonte, dass Selbstverifikation mit zunehmender Skalierung einfacher wird, was kontraintuitiv, aber spannend ist.

Doch nicht alle sind überzeugt. Matthew Guzdial, KI-Forscher und Assistenzprofessor an der University of Alberta, sagte TechCrunch, dass dieser Ansatz am besten funktioniert, wenn man eine solide Methode zur Bewertung der Antworten hat. Die meisten Fragen seien jedoch nicht so einfach. Er meinte: „Wenn wir keinen Code schreiben können, um zu definieren, was wir wollen, können wir die [Inferenzzeit]-Suche nicht nutzen. Für allgemeine Sprachinteraktion funktioniert das nicht... Es ist generell kein guter Ansatz, um die meisten Probleme zu lösen.“

Zhao entgegnete, ihr Paper untersuche Fälle, in denen keine klare Bewertungsmethode vorliegt und das Modell selbst entscheiden müsse. Er argumentierte, dass der Unterschied zwischen klarer und unklarer Bewertung mit zunehmender Skalierung schrumpfen könne.

Mike Cook, Forschungsstipendiat am King's College London, unterstützte Guzdials Ansicht und sagte, dass Inferenzzeit-Suche die Denkfähigkeiten eines Modells nicht wirklich verbessert. Es sei eher ein Workaround für die Neigung des Modells, selbstbewusst Fehler zu machen. Er betonte, dass bei einem Modell mit 5 % Fehlerquote das Überprüfen von 200 Versuchen diese Fehler leichter erkennbar machen sollte.

Diese Neuigkeit könnte für die KI-Branche enttäuschend sein, die stets nach Wegen sucht, die "Denkfähigkeiten" von Modellen kostengünstig zu verbessern. Wie die Autoren des Papers feststellten, können Denkmodelle Tausende von Dollar an Rechenkosten verursachen, nur um ein Mathematikproblem zu lösen.

Die Suche nach neuen Skalierungstechniken ist noch lange nicht vorbei.

Aktualisiert am 3/20 um 5:12 Uhr Pazifik: Hinzugefügt Kommentare von Studien-Mitautor Eric Zhao, der eine Bewertung eines unabhängigen Forschers kritisiert.