Samsungs kompaktes KI-Modell übertrifft größere Konkurrenten beim Denken

Ein neues Papier eines KI-Forschers von Samsung beschreibt, wie ein kompaktes Netzwerk bei der Bewältigung komplexer logischer Aufgaben große Sprachmodelle (LLMs) übertreffen kann.

Im Wettlauf um die Vorherrschaft der KI ist das vorherrschende Mantra der Branche "größer ist besser". Während Tech-Giganten Milliarden in die Entwicklung immer größerer Modelle investieren, schlägt Alexia Jolicoeur-Martineau von Samsung SAIL Montréal einen anderen, effizienteren Ansatz vor: das Tiny Recursive Model (TRM).

Mit nur 7 Millionen Parametern - weniger als 0,01 % der Größe der besten LLMs - erreicht TRM neue Spitzenergebnisse bei bekanntermaßen schwierigen Benchmarks wie dem ARC-AGI-Intelligenztest. Samsungs Ergebnisse stellen die weit verbreitete Annahme in Frage, dass Größe der einzige Weg ist, um KI voranzubringen, und präsentieren eine nachhaltigere und parametereffiziente Alternative.

Die Grenzen des Maßstabs überwinden

LLMs sind zwar hervorragend in der Lage, menschenähnlichen Text zu generieren, doch ihre Fähigkeit, komplexe, mehrstufige Schlussfolgerungen zu ziehen, ist oft nicht ausreichend. Da sie Antworten Token für Token generieren, kann ein Fehler zu Beginn die gesamte Lösung beeinträchtigen und zu einer falschen endgültigen Antwort führen.

Techniken wie die Chain-of-Thought, bei der ein Modell ein Problem Schritt für Schritt aufschlüsselt, sollen dies abmildern. Diese Ansätze sind jedoch sehr rechenintensiv, erfordern oft umfangreiche und qualitativ hochwertige Argumentationsdaten und können immer noch zu fehlerhafter Logik führen. Selbst mit diesen Verbesserungen haben LLMs Schwierigkeiten, Rätsel zu lösen, die eine fehlerfreie logische Ausführung erfordern.

Samsungs Forschung baut auf dem jüngsten Hierarchical Reasoning Model (HRM) auf. Das HRM verwendete zwei kleine neuronale Netze, die Antworten in unterschiedlichen Frequenzen rekursiv verfeinern. Das Modell war zwar vielversprechend, aber komplex und stützte sich auf unsichere biologische Argumente und Festpunkttheoreme, die nicht immer anwendbar waren.

Anstelle der Doppelnetzstruktur von HRM verwendet TRM ein einziges, kompaktes Netz, das sowohl seine interne Argumentation als auch seine vorgeschlagene Antwort rekursiv verbessert.

Das Modell erhält die Frage, einen anfänglichen Antwortvorschlag und ein latentes Argumentationsmerkmal. Anschließend durchläuft es mehrere Schritte, um seine Schlussfolgerungen auf der Grundlage aller drei Eingaben zu verfeinern. Mit dieser verbesserten Schlussfolgerung aktualisiert es seine endgültige Antwortvorhersage. Dieser gesamte Prozess kann sich bis zu 16 Mal wiederholen, so dass das Modell sich auf äußerst parametereffiziente Weise schrittweise selbst korrigieren kann.

Kontraintuitiv stellte die Studie fest, dass ein zweischichtiges Netz viel besser verallgemeinert als eine vierschichtige Version. Das kleinere Design scheint eine Überanpassung zu verhindern - ein häufiges Problem beim Training auf begrenzten, spezialisierten Datensätzen.

TRM beseitigt auch die komplexen mathematischen Annahmen seines Vorgängers. Das ursprüngliche HRM-Modell musste die Konvergenz der Funktion zu einem festen Punkt annehmen, um sein Training zu rechtfertigen. TRM umgeht dies, indem es den gesamten Rekursionsprozess rückwärts durchläuft - eine Änderung, die die Leistung erheblich verbessert und die Genauigkeit des Sudoku-Extreme-Benchmarks von 56,5 % auf 87,4 % in Ablationstests erhöht hat.

Samsungs Modell übertrifft KI-Benchmarks mit weniger Ressourcen

Die Ergebnisse sind beeindruckend. Auf dem Sudoku-Extreme-Datensatz, der nur 1.000 Trainingsbeispiele enthält, erreicht TRM eine Testgenauigkeit von 87,4 % - ein großer Sprung gegenüber den 55 % von HRM. Bei Maze-Hard, bei dem es darum geht, lange Pfade durch 30×30 Labyrinthe zu navigieren, erreicht TRM 85,3 %, verglichen mit 74,5 % bei HRM.

Besonders bemerkenswert ist, dass TRM beim Abstraction and Reasoning Corpus (ARC-AGI), einem Benchmark zur Bewertung echter flüssiger Intelligenz in der KI, deutliche Fortschritte macht. Mit nur 7 Millionen Parametern erreicht TRM eine Genauigkeit von 44,6 % bei ARC-AGI-1 und 7,8 % bei ARC-AGI-2. Das übertrifft HRM, das 27 Millionen Parameter verwendete, und übertrifft sogar viele der weltweit größten LLMs. Zum Vergleich: Gemini 2.5 Pro erreicht bei ARC-AGI-2 nur 4,9 %.

Der Trainingsprozess von TRM wurde ebenfalls optimiert. Ein adaptiver Mechanismus namens ACT - der bestimmt, wann das Modell eine Antwort ausreichend verbessert hat, um weiterzugehen - wurde vereinfacht, so dass bei jedem Trainingsschritt kein kostspieliger zweiter Vorwärtsdurchlauf mehr erforderlich ist. Diese Anpassung hat die Gesamtgeneralisierung nicht beeinträchtigt.

Samsungs Forschungsarbeit bildet einen starken Kontrapunkt zum Trend, immer größere KI-Modelle zu entwickeln. Sie zeigt, dass durch die Entwicklung von Architekturen, die zu iterativem Denken und Selbstkorrektur fähig sind, extrem schwierige Probleme mit nur einem winzigen Bruchteil der Rechenressourcen gelöst werden können.

Siehe auch: Googles neuer KI-Agent schreibt Code um, um die Behebung von Sicherheitslücken zu automatisieren

Möchten Sie mehr über KI und Big Data von Branchenführern erfahren? Besuchen Sie die AI & Big Data Expo in Amsterdam, Kalifornien und London. Diese umfassende Veranstaltung ist Teil der TechEx und findet parallel zu anderen großen Tech-Events wie der Cyber Security Expo statt. Klicken Sie hier für weitere Informationen.

AI News wird von TechForge Media unterstützt. Weitere Veranstaltungen und Webinare zu Unternehmenstechnologien finden Sie hier.