AI Skaling Breakthrough von Experten in Frage gestellt

# research # scaling

In den sozialen Medien wurde einige Summe darüber, dass Forscher ein neues KI -Skalierungsrecht entdecken, aber Experten nehmen ihn mit einem Körnchen Salz. KI -Skalierungsgesetze, die eher informelle Richtlinien ähneln, zeigen, wie KI -Modelle besser werden, wenn Sie mehr Daten und Rechenleistung auf sie werfen. Bis vor ungefähr einem Jahr drehte sich der große Trend um "Vorausbildung"-im Grunde genommen die Schulung größerer Modelle für größere Datensätze. Das ist immer noch eine Sache, aber jetzt haben wir zwei weitere Skalierungsgesetze in der Mischung: Nach dem Trainingskalierung, bei dem es darum geht, das Verhalten eines Modells zu optimieren, und die Testzeit-Skalierung, bei der mehr Rechenleistung während der Inferenz verwendet wird, um die "Argumentationsfunktionen" eines Modells zu steigern (denken Sie Modelle wie R1). Kürzlich haben Forscher von Google und UC Berkeley ein Papier fallen, das einige Leute online als viertes Gesetz bezeichnen: "Inferenzzeitsuche". In dieser Methode wird das Modell gleichzeitig eine Reihe möglicher Antworten auf eine Abfrage ausspucken und dann das Beste auswählen. Die Forscher behaupten, es könne die Leistung eines älteren Modells wie Googles Gemini 1.5 Pro enttäuschen, um OpenAs O1-Präview-Modell für Wissenschaft und Mathematik-Benchmarks zu besiegen. Eric Zhao, ein Google Doctorate Fellow und einer der Co-Autoren der Zeitung, teilten X auf X, dass durch zufällig 200 Antworten und die Selbstverifizierung des Modells, Gemini 1.5-, was er scherzhaft als "altes frühes Modell 2024" bezeichnete-O1-Preview und sogar in der Nähe von O1 eingehen konnte. Er wies darauf hin, dass die Selbstverifizierung beim Skalieren einfacher wird, was eine Art kontraintuitiv, aber cool ist. Aber nicht jeder ist überzeugt. Matthew Guzdial, AI -Forscher und Assistenzprofessor an der University of Alberta, sagte gegenüber TechCrunch, dass dieser Ansatz am besten funktioniert, wenn Sie eine solide Möglichkeit haben, die Antworten zu beurteilen. Die meisten Fragen sind jedoch nicht so einfach. Er sagte: "Wenn wir keinen Code schreiben können, um das zu definieren, was wir wollen, können wir [Inferenzzeit] -Suche nicht verwenden. Für etwas wie allgemeine Sprachinteraktion können wir dies nicht tun ... es ist im Allgemeinen kein großartiger Ansatz, um die meisten Probleme tatsächlich zu lösen." Zhao antwortete und sagte, dass ihr Papier tatsächlich Fälle untersucht, in denen Sie keine klare Möglichkeit haben, die Antworten zu beurteilen, und das Modell muss es selbst herausfinden. Er argumentierte, dass die Lücke zwischen einer klaren Art zu beurteilen und nicht zu haben könne, wenn Sie sich skalieren. Mike Cook, ein wissenschaftlicher Fellow am King's College London, unterstützte die Ansicht von Guzdial und sagte, dass die Suche nach Inferenzzeit die Argumentation des Modells nicht wirklich besser macht. Es ist eher eine Problemumgehung für die Tendenz des Modells, selbstbewusste Fehler zu machen. Er wies darauf hin, dass, wenn Ihr Modell 5% der Fälle durcheinander bringt, das Überprüfen von 200 Versuchen das Erkennen dieser Fehler erleichtern sollte. Diese Nachricht ist vielleicht ein kleiner Downer für die KI -Branche, die immer auf der Suche nach Möglichkeiten ist, das Modell "Argumentation" zu steigern, ohne die Bank zu brechen. Wie die Autoren des Papiers feststellten, können Argumentationsmodelle Tausende von Dollar an Rechenkosten einbringen, nur um ein mathematisches Problem zu lösen. Sieht so aus, als ob die Suche nach neuen Skalierungstechniken noch lange nicht vorbei ist. *Aktualisiert 05.05.

Verwandter Artikel

Kommentare (35)