Die LLMs von Deep Cogito übertreffen ähnliche Modelle mit ähnlicher Größe mit IDA

Deep Cogito, ein in San Francisco ansässiges Unternehmen, macht in der KI-Community Wellen mit der neuesten Veröffentlichung von Open Language Models (LLMs). Diese Modelle, die in verschiedenen Größen von 3 bis 70 Milliarden Parametern liegen, sind nicht nur ein weiterer Satz von KI -Tools. Sie sind ein mutiger Schritt in Richtung dessen, was das Unternehmen als "allgemeine Superintelligenz" bezeichnet. Deep Cogito behauptet, dass jedes ihrer Modelle die führenden offenen Modelle ähnlicher Größen, einschließlich derer von Lama, Deepseek und Qwen, über die meisten Standard -Benchmarks übertrifft. Es ist eine ziemliche Behauptung, aber noch beeindruckender ist, dass ihr 70B-Modell Berichten zufolge das kürzlich veröffentlichte LAMA 4 109B-Mischungsmischungsmodell (MOE) übertrifft.

Iterierte Destillation und Verstärkung (IDA)

Das Herzstück von Deep Cogitos Durchbruch ist ein neuer Trainingsansatz, den sie als iterierte Destillation und Verstärkung (IDA) bezeichnen. Diese Methode wird als "skalierbare und effiziente Ausrichtungsstrategie für die allgemeine Superintelligenz unter Verwendung iterativer Selbstverbesserung" beschrieben. Es wurde entwickelt, um die Grenzen des traditionellen LLM -Trainings zu überschreiten, bei dem die Intelligenz des Modells häufig auf eine Decke trifft, die von größeren "Aufseher" -Modellen oder menschlichen Kuratoren definiert wird.

Der IDA -Prozess dreht sich um zwei wichtige Schritte, die immer wieder wiederholt werden:

• Verstärkung: Dieser Schritt verwendet mehr Rechenleistung, um dem Modell bessere Lösungen oder Funktionen zu erstellen, ähnlich wie erweiterte Argumentationstechniken.
• Destillation: Hier verinnerlichen das Modell diese verbesserten Fähigkeiten und verfeinern seine Parameter.

Deep Cogito argumentiert, dass dies eine "positive Rückkopplungsschleife" erzeugt, die es der Intelligenz des Modells ermöglicht, direkter mit den Rechenressourcen und der Effizienz des IDA -Prozesses selbst zu wachsen, anstatt durch die Intelligenz eines Aufsehers begrenzt zu werden.

Das Unternehmen verweist auf historische Erfolge wie Alphago und betonte, dass "fortgeschrittenes Denken und iterativer Selbstverbesserung von entscheidender Bedeutung waren. Sie behaupten, dass Ida diese Elemente in das LLM -Training einbringt. Sie bewerben sich auch für die Effizienz von IDA und stellten fest, dass ihr Team, obwohl es klein ist, diese Modelle in nur 75 Tagen entwickelt hat. Im Vergleich zu anderen Methoden wie Verstärkungslernen aus menschlichem Feedback (RLHF) oder Standarddestillation aus größeren Modellen soll IDA eine bessere Skalierbarkeit bieten.

Als Beweis zeigt Deep Cogito, wie ihr 70B -Modell sowohl Lama 3.3 70b (aus einem 405B -Modell destilliert) als auch Lama 4 Scout 109b (destilliert aus einem 2T -Parametermodell) übertrifft.

Fähigkeiten und Leistung von tiefen Cogito -Modellen

Die neuen Cogito -Modelle, die auf Lama- und Qwen -Checkpoints aufbauen, sind auf Codierung, Funktionsaufruf und agierende Anwendungen zugeschnitten. Eine herausragende Funktion ist ihre doppelte Funktionalität: "Jedes Modell kann direkt (Standard LLM) oder selbst reflektieren, bevor sie beantwortet werden (wie Argumentationsmodelle)." Dies spiegelt Funktionen wider, die in Modellen wie Claude 3.5 zu sehen sind. Deep Cogito erwähnt jedoch, dass sie sich jedoch nicht auf sehr lange Argumentationsketten konzentriert haben, was schnellere Antworten und die Effizienz der Destillation kürzerer Ketten priorisieren.

Das Unternehmen hat umfangreiche Benchmark-Ergebnisse geteilt und seine Cogito-Modelle mit offenen Modellen der Größenäquivalente im Direkt- und Argumentationsmodi verglichen. In einer Reihe von Benchmarks wie MMLU, MMLU-PRO, ARC, GSM8K und MATH sowie über verschiedene Modellgrößen (3B, 8B, 14B, 32B, 70B) zeigen die Cogito-Modelle im Allgemeinen signifikante Leistungsverbesserungen. Zum Beispiel bewertet das Cogito 70B -Modell im Standardmodus 91,73% für MMLU, eine Verbesserung von +6,40% gegenüber LAMA 3,3 70B und 91,00% im Denkmodus, A +4,40% Schub um Deepseek R1 Destill 70b. LiveBench -Scores spiegeln auch diese Gewinne wider.

Hier sind Benchmarks von 14B-Modellen für einen mittelgroßen Vergleich:

Während Deep Cogito anerkennt, dass Benchmarks den realen Nutzen nicht vollständig erfassen, bleiben sie von der praktischen Leistung ihrer Modelle zuversichtlich. Diese Veröffentlichung gilt als Vorschau, wobei das Unternehmen feststellt, dass sie sich "noch in den frühen Phasen dieser Skalierungskurve" befinden. Sie planen, verbesserte Kontrollpunkte für die aktuellen Größen zu veröffentlichen und in den kommenden Wochen und Monaten größere MOE -Modelle (109B, 400B, 671B) einzuführen. Alle zukünftigen Modelle werden ebenfalls Open-Source sein.