AI Skaling Breakthrough von Experten in Frage gestellt

Auf Social Media gibt es Aufregung über Forscher, die ein neues KI-"Skalierungsgesetz" entdeckt haben, aber Experten bleiben skeptisch. KI-Skalierungsgesetze, eher informelle Richtlinien, zeigen, wie KI-Modelle besser werden, wenn man mehr Daten und Rechenleistung einsetzt. Bis vor etwa einem Jahr war der große Trend das "Pre-Training" – also größere Modelle mit größeren Datensätzen trainieren. Das ist immer noch relevant, aber jetzt gibt es zwei weitere Skalierungsgesetze: Post-Training-Skalierung, bei der das Verhalten eines Modells optimiert wird, und Testzeit-Skalierung, bei der während der Inferenz mehr Rechenleistung genutzt wird, um die "Denkfähigkeiten" eines Modells zu verbessern (siehe Modelle wie R1).
Kürzlich veröffentlichten Forscher von Google und UC Berkeley ein Paper, das online als viertes Gesetz bezeichnet wird: "Inferenzzeit-Suche". Diese Methode lässt das Modell mehrere mögliche Antworten auf eine Anfrage gleichzeitig ausgeben und die beste auswählen. Die Forscher behaupten, sie könne die Leistung eines älteren Modells wie Googles Gemini 1.5 Pro steigern, um OpenAIs o1-preview-"Denkmodell" bei Wissenschafts- und Mathematik-Benchmarks zu übertreffen.
Eric Zhao, Google-Doktorand und Mitautor des Papers, teilte auf X mit, dass Gemini 1.5 – von ihm scherzhaft als "uraltes Früh-2024-Modell" bezeichnet – durch zufälliges Testen von 200 Antworten und Selbstverifikation o1-preview schlagen und sich o1 annähern könne. Er betonte, dass Selbstverifikation mit zunehmender Skalierung einfacher wird, was kontraintuitiv, aber spannend ist.
Doch nicht alle sind überzeugt. Matthew Guzdial, KI-Forscher und Assistenzprofessor an der University of Alberta, sagte TechCrunch, dass dieser Ansatz am besten funktioniert, wenn man eine solide Methode zur Bewertung der Antworten hat. Die meisten Fragen seien jedoch nicht so einfach. Er meinte: „Wenn wir keinen Code schreiben können, um zu definieren, was wir wollen, können wir die [Inferenzzeit]-Suche nicht nutzen. Für allgemeine Sprachinteraktion funktioniert das nicht... Es ist generell kein guter Ansatz, um die meisten Probleme zu lösen.“
Zhao entgegnete, ihr Paper untersuche Fälle, in denen keine klare Bewertungsmethode vorliegt und das Modell selbst entscheiden müsse. Er argumentierte, dass der Unterschied zwischen klarer und unklarer Bewertung mit zunehmender Skalierung schrumpfen könne.
Mike Cook, Forschungsstipendiat am King's College London, unterstützte Guzdials Ansicht und sagte, dass Inferenzzeit-Suche die Denkfähigkeiten eines Modells nicht wirklich verbessert. Es sei eher ein Workaround für die Neigung des Modells, selbstbewusst Fehler zu machen. Er betonte, dass bei einem Modell mit 5 % Fehlerquote das Überprüfen von 200 Versuchen diese Fehler leichter erkennbar machen sollte.
Diese Neuigkeit könnte für die KI-Branche enttäuschend sein, die stets nach Wegen sucht, die "Denkfähigkeiten" von Modellen kostengünstig zu verbessern. Wie die Autoren des Papers feststellten, können Denkmodelle Tausende von Dollar an Rechenkosten verursachen, nur um ein Mathematikproblem zu lösen.
Die Suche nach neuen Skalierungstechniken ist noch lange nicht vorbei.
Aktualisiert am 3/20 um 5:12 Uhr Pazifik: Hinzugefügt Kommentare von Studien-Mitautor Eric Zhao, der eine Bewertung eines unabhängigen Forschers kritisiert.
Verwandter Artikel
Bayer nutzt Iambic AI, um die Arzneimittelforschung zu beschleunigen
Dr. Jürgen Eckhardt ist Leiter der Abteilung für Geschäftsentwicklung und Lizenzierung bei Bayer Pharmaceuticals.Bayer nutzt Iambic Therapeutics, um innovative KI-Modelle für die Wirkstoffforschung ei
Optimierungsorientierte KI als neuer Weg zu Allzweckmodellen
Forscher der University of Illinois Urbana-Champaign und der University of Virginia haben eine neue Modellarchitektur entwickelt, die den Weg für widerstandsfähigere KI-Systeme mit verbesserter Schlus
Der KI-Boom weckt Erinnerungen an die Dotcom-Blase
Der Zufluss von Investitionen in Höhe von mehreren Milliarden Dollar in KI hat eine hitzige Debatte ausgelöst: Steuert die Branche auf eine Blase im Stil der Dotcom-Ära zu?Investoren beobachten aufmer
Empfehlungen zu verwandten Spezialthemen
Kommentare (37)
I heard there's a new AI scaling law discovered, but experts are skeptical? It feels like another case of hype overshadowing reality—maybe we should wait for solid experiments before jumping to conclusions. 😅
Interessant, aber ich bin skeptisch. Diese 'Skalierungsgesetze' klingen oft nach einer selbsterfüllenden Prophezeiung der großen Tech-Firmen. Mehr Daten, mehr Rechenleistung – klar wird das Modell 'besser', aber zu welchem Preis? Die Umweltkosten sind enorm, und am Ende bekommen wir vielleicht nur bessere Halluzinationen. Die Experten haben recht, vorsichtig zu sein. 🤔
This AI scaling law thing sounds cool, but it's hard to get excited when experts are so skeptical. It's like they're saying, 'Sure, it's interesting, but let's not get carried away.' I guess we'll see if it's the real deal or just another hype train. 🤔
Essa história de lei de escalabilidade de IA parece legal, mas é difícil se empolgar quando os especialistas são tão céticos. Parece que eles estão dizendo, 'Sim, é interessante, mas não vamos nos empolgar muito'. Vamos ver se é verdade ou só mais um hype. 🤔

Auf Social Media gibt es Aufregung über Forscher, die ein neues KI-"Skalierungsgesetz" entdeckt haben, aber Experten bleiben skeptisch. KI-Skalierungsgesetze, eher informelle Richtlinien, zeigen, wie KI-Modelle besser werden, wenn man mehr Daten und Rechenleistung einsetzt. Bis vor etwa einem Jahr war der große Trend das "Pre-Training" – also größere Modelle mit größeren Datensätzen trainieren. Das ist immer noch relevant, aber jetzt gibt es zwei weitere Skalierungsgesetze: Post-Training-Skalierung, bei der das Verhalten eines Modells optimiert wird, und Testzeit-Skalierung, bei der während der Inferenz mehr Rechenleistung genutzt wird, um die "Denkfähigkeiten" eines Modells zu verbessern (siehe Modelle wie R1).
Kürzlich veröffentlichten Forscher von Google und UC Berkeley ein Paper, das online als viertes Gesetz bezeichnet wird: "Inferenzzeit-Suche". Diese Methode lässt das Modell mehrere mögliche Antworten auf eine Anfrage gleichzeitig ausgeben und die beste auswählen. Die Forscher behaupten, sie könne die Leistung eines älteren Modells wie Googles Gemini 1.5 Pro steigern, um OpenAIs o1-preview-"Denkmodell" bei Wissenschafts- und Mathematik-Benchmarks zu übertreffen.
Eric Zhao, Google-Doktorand und Mitautor des Papers, teilte auf X mit, dass Gemini 1.5 – von ihm scherzhaft als "uraltes Früh-2024-Modell" bezeichnet – durch zufälliges Testen von 200 Antworten und Selbstverifikation o1-preview schlagen und sich o1 annähern könne. Er betonte, dass Selbstverifikation mit zunehmender Skalierung einfacher wird, was kontraintuitiv, aber spannend ist.
Doch nicht alle sind überzeugt. Matthew Guzdial, KI-Forscher und Assistenzprofessor an der University of Alberta, sagte TechCrunch, dass dieser Ansatz am besten funktioniert, wenn man eine solide Methode zur Bewertung der Antworten hat. Die meisten Fragen seien jedoch nicht so einfach. Er meinte: „Wenn wir keinen Code schreiben können, um zu definieren, was wir wollen, können wir die [Inferenzzeit]-Suche nicht nutzen. Für allgemeine Sprachinteraktion funktioniert das nicht... Es ist generell kein guter Ansatz, um die meisten Probleme zu lösen.“
Zhao entgegnete, ihr Paper untersuche Fälle, in denen keine klare Bewertungsmethode vorliegt und das Modell selbst entscheiden müsse. Er argumentierte, dass der Unterschied zwischen klarer und unklarer Bewertung mit zunehmender Skalierung schrumpfen könne.
Mike Cook, Forschungsstipendiat am King's College London, unterstützte Guzdials Ansicht und sagte, dass Inferenzzeit-Suche die Denkfähigkeiten eines Modells nicht wirklich verbessert. Es sei eher ein Workaround für die Neigung des Modells, selbstbewusst Fehler zu machen. Er betonte, dass bei einem Modell mit 5 % Fehlerquote das Überprüfen von 200 Versuchen diese Fehler leichter erkennbar machen sollte.
Diese Neuigkeit könnte für die KI-Branche enttäuschend sein, die stets nach Wegen sucht, die "Denkfähigkeiten" von Modellen kostengünstig zu verbessern. Wie die Autoren des Papers feststellten, können Denkmodelle Tausende von Dollar an Rechenkosten verursachen, nur um ein Mathematikproblem zu lösen.
Die Suche nach neuen Skalierungstechniken ist noch lange nicht vorbei.
Aktualisiert am 3/20 um 5:12 Uhr Pazifik: Hinzugefügt Kommentare von Studien-Mitautor Eric Zhao, der eine Bewertung eines unabhängigen Forschers kritisiert.
Bayer nutzt Iambic AI, um die Arzneimittelforschung zu beschleunigen
Dr. Jürgen Eckhardt ist Leiter der Abteilung für Geschäftsentwicklung und Lizenzierung bei Bayer Pharmaceuticals.Bayer nutzt Iambic Therapeutics, um innovative KI-Modelle für die Wirkstoffforschung ei
Optimierungsorientierte KI als neuer Weg zu Allzweckmodellen
Forscher der University of Illinois Urbana-Champaign und der University of Virginia haben eine neue Modellarchitektur entwickelt, die den Weg für widerstandsfähigere KI-Systeme mit verbesserter Schlus
Der KI-Boom weckt Erinnerungen an die Dotcom-Blase
Der Zufluss von Investitionen in Höhe von mehreren Milliarden Dollar in KI hat eine hitzige Debatte ausgelöst: Steuert die Branche auf eine Blase im Stil der Dotcom-Ära zu?Investoren beobachten aufmer
I heard there's a new AI scaling law discovered, but experts are skeptical? It feels like another case of hype overshadowing reality—maybe we should wait for solid experiments before jumping to conclusions. 😅
Interessant, aber ich bin skeptisch. Diese 'Skalierungsgesetze' klingen oft nach einer selbsterfüllenden Prophezeiung der großen Tech-Firmen. Mehr Daten, mehr Rechenleistung – klar wird das Modell 'besser', aber zu welchem Preis? Die Umweltkosten sind enorm, und am Ende bekommen wir vielleicht nur bessere Halluzinationen. Die Experten haben recht, vorsichtig zu sein. 🤔
This AI scaling law thing sounds cool, but it's hard to get excited when experts are so skeptical. It's like they're saying, 'Sure, it's interesting, but let's not get carried away.' I guess we'll see if it's the real deal or just another hype train. 🤔
Essa história de lei de escalabilidade de IA parece legal, mas é difícil se empolgar quando os especialistas são tão céticos. Parece que eles estão dizendo, 'Sim, é interessante, mas não vamos nos empolgar muito'. Vamos ver se é verdade ou só mais um hype. 🤔





Heim






