Forscher entwickeln einen Open-Source

Letzten Freitag hat ein bahnbrechendes Forschungspapier von KI-Experten der Stanford University und der University of Washington die Szene erobert und enthüllt, dass sie ein KI-"Denk"-Modell namens s1 für unter 50 Dollar in Cloud-Computing-Guthaben entwickelt haben. Diese Enthüllung erschüttert die KI-Welt, da s1 sich gegen Spitzenmodelle wie OpenAI's o1 und DeepSeek's R1 behauptet, wenn es darum geht, mathematische und Programmierherausforderungen zu bewältigen.

Das s1-Modell, zusammen mit allen saftigen Details zu seinen Trainingsdaten und dem Code, ist jetzt auf GitHub verfügbar. Das Team begann mit einem gewöhnlichen Basismodell und hat es dann mit einer Technik namens Destillation auf die Probe gestellt. Dieser Prozess beinhaltet, die "denkenden" Säfte aus einem anderen KI-Modell herauszupressen, indem man auf dessen Antworten trainiert. In diesem Fall erhielt s1 seine Intelligenz von Googles Gemini 2.0 Flash Thinking Experimental Modell. Es ist eine ähnliche Taktik, wie sie Berkeley-Forscher letzten Monat verwendet haben, um ihr eigenes KI-Denkmodell für etwa 450 Dollar zu entwickeln.

Für manche ist die Vorstellung, dass ein kleines Forscherteam ohne riesiges Budget Wellen in der KI-Welt schlagen kann, aufregend. Aber das Auftauchen von s1 wirft auch ernsthafte Fragen über die Zukunft der KI-Modellentwicklung auf. Wenn ein Modell, das mit Millionenbudget entwickelten Modellen Konkurrenz macht, mit einem schmalen Budget repliziert werden kann, was hindert dann alle daran, dasselbe zu tun?

Es überrascht nicht, dass die großen Akteure in der KI-Welt nicht begeistert sind. OpenAI zum Beispiel hat auf DeepSeek gezeigt und sie beschuldigt, ihre API-Daten zur Brennstoffdestillation von Modellen verwendet zu haben. In der Zwischenzeit konzentrierte sich das s1-Team darauf, den einfachsten Weg zu finden, solide Denkleistungen und etwas namens "Testzeit-Skalierung" zu erreichen, bei dem ein KI-Modell mehr Zeit zum Nachdenken vor der Antwort erhält. Dies sind dieselben Innovationen, die OpenAI's o1-Modell auf den Tisch gebracht hat, die andere wie DeepSeek mit ihren eigenen Methoden nachzuahmen versucht haben.

Das s1-Papier legt nahe, dass man Denkmodelle mit einem relativ kleinen Datensatz durch eine Technik namens überwachtes Feintuning (SFT) destillieren kann. Dies beinhaltet das Training des KI-Modells, bestimmte Verhaltensweisen aus einem Datensatz zu kopieren, und es ist günstiger als das groß angelegte verstärkende Lernen, das DeepSeek für ihr R1-Modell verwendet hat, das mit OpenAI's o1 konkurriert.

Google stellt Gemini 2.0 Flash Thinking Experimental kostenlos über seine Google AI Studio Plattform zur Verfügung, allerdings mit täglichen Limits. Aber es gibt einen Haken – Googles Bedingungen erlauben kein Reverse-Engineering seiner Modelle, um konkurrierende Dienste zu erstellen. Wir warten noch auf eine Antwort von Google dazu.

Das s1-Modell selbst begann sein Leben als bescheidenes, frei verfügbares KI-Modell aus Alibabas Qwen-Labor, das jeder kostenlos herunterladen kann. Um s1 zu trainieren, stellten die Forscher einen Datensatz mit nur 1.000 sorgfältig ausgewählten Fragen zusammen, zusammen mit Antworten und dem "Denk"-Prozess hinter jeder einzelnen, mit freundlicher Genehmigung von Googles Gemini 2.0. Der gesamte Trainingsprozess dauerte weniger als 30 Minuten auf 16 Nvidia H100 GPUs. Laut Niklas Muennighoff, einem Stanford-Forscher, der an dem Projekt beteiligt war, könnte man dies heute für etwa 20 Dollar an Rechenkosten schaffen.

Die Forscher haben auch einen cleveren Schachzug gemacht, um s1 dazu zu bringen, seine Arbeit zu überprüfen und seine "Denk"-Zeit zu verlängern – sie sagten ihm einfach, "zu warten". Das Hinzufügen dieses Wortes während des Denkprozesses von s1 half ihm, laut dem Papier etwas genauere Antworten zu liefern.

Im Ausblick auf 2025 sind Tech-Giganten wie Meta, Google und Microsoft bereit, Hunderte von Milliarden in KI-Infrastruktur zu investieren, von denen ein Großteil in das Training der nächsten Welle von KI-Modellen fließen wird. Während Destillation sich als effektive Methode erweist, KI-Fähigkeiten günstig nachzubilden, wird sie nicht so bald zur Entwicklung brandneuer, bahnbrechender KI-Modelle führen.