Forscher entwickeln einen Open-Source

Am vergangenen Freitag traf ein bahnbrechender Forschungspapier von KI -Experten in Stanford und der University of Washington in die Szene, in der sie enthüllten, dass sie es geschafft haben, ein KI -Modell "Argumenting" mit dem Namen S1 für weniger als 50 US -Dollar in Cloud -Computer -Credits zu entwickeln. Diese Offenbarung schüttelt die KI-Welt, da sich S1 gegen Top-Tier-Modelle wie Openai's O1 und Deepseeks R1 in der Lage ist, Mathematik- und Codierungsherausforderungen anzugehen.

Das S1 -Modell ist zusammen mit allen saftigen Details seiner Trainingsdaten und des Code zu Github zugänglich. Das Team startete die Dinge mit einem gewöhnlichen Basismodell und setzte es dann mit einer Technik namens Destillation durch den Wringer. Dieser Prozess beinhaltet das Ausdrücken des "Argumentationssaftes" aus einem anderen KI -Modell, indem er die Antworten trainiert. In diesem Fall erhielt S1 seine Smarts vom Google Gemini 2.0 Flash Thinking Experimental Model. Es ist eine ähnliche Taktik wie in Berkeley -Forschern, um ihr eigenes KI -Argumentationsmodell für rund 450 US -Dollar erst letzten Monat aufzuschlagen.

Für einige ist die Idee, dass ein kleines Team von Forschern im KI -Bereich immer noch Wellen ohne ein massives Budget machen kann. Das Auftauchen von S1 stellt jedoch auch einige ernsthafte Fragen zur Zukunft der KI -Modellentwicklung aus. Wenn ein Modell, das mit Millionen konkurrierenden Konkurrenz auf einem Schuhbudget repliziert werden kann, dann alle davon abhalten, dasselbe zu tun?

Es überrascht nicht, dass die großen Spieler in der KI nicht begeistert sind. OpenAI hat beispielsweise die Finger auf Deepseek gezeigt und sie beschuldigt, ihre API -Daten zur Destillation des Modells zu verwenden. In der Zwischenzeit konzentrierte sich das S1-Team darauf, die unkomplizierteste Möglichkeit zu finden, um eine solide Argumentationsleistung und eine sogenannte "Testzeitskalierung" zu erzielen, bei der ein KI-Modell vor der Beantwortung mehr Zeit zum Nachdenken hat. Dies sind die gleichen Innovationen, die das O1 -Modell von Openai auf den Tisch gebracht hat, was andere wie Deepseek versucht haben, mit ihren eigenen Methoden nachzuahmen.

Das S1-Papier schlägt vor, dass Sie Argumentationsmodelle mit einem relativ kleinen Datensatz unter Verwendung einer Technik destillieren können, die als beaufsichtigte Feinabstimmung (SFT) bezeichnet wird. Dies beinhaltet das Training des KI-Modells, um spezifische Verhaltensweisen aus einem Datensatz zu kopieren, und es ist billiger als das groß angelegte Verstärkungslernen, das Deepseek für ihr R1-Modell verwendet hat, das mit OpenAs O1 konkurriert.

Google stellt Gemini 2.0 Flash Thinking experimentell kostenlos über seine Google AI Studio -Plattform zur Verfügung, jedoch mit täglichen Grenzen. Aber es gibt einen Haken-die Begriffe von Google lassen seine Modelle nicht umgekehrt, um konkurrierende Dienste zu schaffen. Wir warten darauf, von Google davon zu hören.

Das S1-Modell selbst begann das Leben als bescheidenes AI-Modell von Alibabas Qwen Lab, das jeder kostenlos herunterladen kann. Um S1 auszubilden, stellten die Forscher einen Datensatz von nur 1.000 sorgfältig ausgewählten Fragen zusammen mit Antworten und dem "Denken" -Prozess hinter jedem einzelnen mit freundlicher Genehmigung von Googles Gemini 2.0 zusammen. Der gesamte Trainingsprozess dauerte weniger als 30 Minuten bei 16 Nvidia H100 GPU. Laut Niklas Muennighoff, einem an dem Projekt beteiligten Stanford -Forscher, könnten Sie dies heute für rund 20 US -Dollar an Berechnungspunkten schaffen.

Die Forscher machten auch einen klugen Schritt, um S1 ihre Arbeit zu überprüfen und seine "Denken" -Zeit zu verlängern-sie sagten es einfach, "zu warten". Das Hinzufügen dieses Wortes während des Argumentationsprozesses von S1 half es, laut dem Papier etwas genauere Antworten zu erhalten.

Mit Blick auf 2025 werden Tech -Giganten wie Meta, Google und Microsoft Hunderte von Milliarden in die KI -Infrastruktur einfließen, von denen ein Großteil für die Schulung der nächsten Welle von AI -Modellen fließt. Während sich die Destillation als effektive Möglichkeit erweist, KI-Fähigkeiten billig nachzubilden, wird sie nicht so bald zur Schaffung brandneuer, bahnbrechenden KI-Models führen.