Deep Cogito stellt vier Open-Source-Hybrid-Argumentationsmodelle mit selbstverbessernder Intuition vor

Deep Cogito, ein in San Francisco ansässiges KI-Forschungs-Startup, das von ehemaligen Google-Ingenieuren gegründet wurde, hat vier neue „offene“ große Sprachmodelle (LLMs) veröffentlicht. Diese Modelle befassen sich mit einer zentralen Herausforderung: zu lernen, im Laufe der Zeit effektiver zu argumentieren und autonomer zu werden.

Diese Modelle, die zusammen als Cogito v2-Familie bekannt sind, umfassen zwischen 70 Milliarden und 671 Milliarden Parameter. Sie stehen KI-Entwicklern und Unternehmen unter einer Mischung aus freizügigen und vollständig offenen Lizenzen zur Verfügung. Die Veröffentlichung umfasst:

• Cogito v2-70B (Dense)
• Cogito v2-109B (Mixture-of-Experts)
• Cogito v2-405B (Dense)
• Cogito v2-671B (MoE)

Dense- und MoE-Modelle dienen unterschiedlichen Zwecken. Die Dense-Varianten (70B und 405B) aktivieren alle Parameter für jede Eingabe, wodurch sie vorhersehbar und einfacher auf verschiedenen Hardware-Konfigurationen einzusetzen sind.

Sie eignen sich ideal für Aufgaben mit geringer Latenz, Feinabstimmung und Umgebungen mit begrenzter GPU-Kapazität. Im Gegensatz dazu verwenden MoE-Modelle (109B und 671B) einen spärlichen Routing-Mechanismus, der nur eine Teilmenge spezialisierter „Experten”-Subnetzwerke pro Abfrage aktiviert. Dieses Design unterstützt wesentlich größere Gesamtmodellgrößen, ohne die Rechenkosten proportional zu erhöhen.

Daher eignen sich MoE-Modelle hervorragend für leistungsstarke Inferenz und komplexe Schlussfolgerungen und liefern höchste Genauigkeit bei geringeren Laufzeitkosten. Innerhalb der Cogito v2-Produktreihe ist das 671B MoE-Modell das Flaggschiff. Dank seiner Größe und seines effizienten Routings erreicht es in Benchmarks die Leistung führender offener Modelle oder übertrifft diese sogar – oft mit deutlich kürzeren Schlussfolgerungsketten.

Die Modelle sind jetzt über Hugging Face für den Einsatz in Unternehmen und über Unsloth für die lokale Bereitstellung zugänglich. Für diejenigen, die keinen eigenen Hosting-Server betreiben können, wird der API-Zugriff von Together AI, Baseten und RunPod bereitgestellt.

Eine quantisierte FP8-Version (8-Bit-Gleitkomma) des Modells 671B ist ebenfalls verfügbar. Durch die Reduzierung der Parametergenauigkeit von 16 Bit auf 8 Bit ermöglicht diese Version eine schnellere, kostengünstigere und leichter zugängliche Hardwarebereitstellung, wobei in der Regel 95 bis 99 % der ursprünglichen Leistung beibehalten werden. Bei Aufgaben, die eine hohe Präzision erfordern, wie bestimmte mathematische oder logische Probleme, kann die Genauigkeit jedoch leicht beeinträchtigt sein.

Alle vier Cogito v2-Modelle sind hybride Schlussfolgerungssysteme: Sie können sofort antworten oder, falls erforderlich, vor der Antwort eine interne Reflexion durchführen.

Diese Reflexion ist nicht nur eine Funktion während der Inferenz, sondern ein integraler Bestandteil des Trainingsprozesses selbst.

Die Modelle werden darauf trainiert, ihre Schlussfolgerungswege zu verinnerlichen. Die Schritte, die sie unternehmen, um zu Lösungen zu gelangen – ihre internen „Gedanken“ – werden wieder in die grundlegenden Gewichte des Modells zurückgeführt.

Mit der Zeit lernen sie, produktive Denkwege von irrelevanten zu unterscheiden.

Wie im Blog von Deep Cogito erläutert, halten die Forscher das Modell davon ab, „weiter zu suchen”, um eine Antwort zu finden. Stattdessen ermutigen sie es, eine stärkere Intuition für den effizientesten Denkweg zu entwickeln.

Das Ergebnis, so Deep Cogito, ist ein schnelleres und effizienteres Denken, das selbst im Standardbetriebsmodus zu einer deutlichen Leistungssteigerung führt.

Der Weg zur selbstverbessernden KI

Obwohl Deep Cogito für die breitere KI-Community relativ neu ist, entwickelt das Unternehmen seine Technologie bereits seit über einem Jahr.

Das Unternehmen startete im April 2025 mit Open-Source-Modellen auf Basis von Metas Llama 3.2. Diese ersten Modelle lieferten vielversprechende Ergebnisse, nachdem Benchmark im November 2024 eine Startkapitalfinanzierung in Höhe von 13 Millionen US-Dollar angeführt hatte. Eric Vishria von Benchmark trat dem Vorstand des Unternehmens bei.

Wie bereits von VentureBeat berichtet, übertrafen die kleinsten Cogito v1-Modelle (3B und 8B) vergleichbare Llama 3-Modelle in verschiedenen Benchmarks durchweg, oft mit deutlichem Vorsprung.

Der CEO und Mitbegründer von Deep Cogito, Drishan Arora, ehemaliger leitender LLM-Ingenieur bei Google, beschreibt die Vision des Unternehmens als den Aufbau von Modellen, die ihre Argumentation mit jeder Iteration verfeinern, ähnlich wie AlphaGo sich durch Selbstspiel verbessert hat.

Im Mittelpunkt dieses Ansatzes steht Iterated Distillation and Amplification (IDA), eine Methode, bei der statische Trainingsanweisungen durch die sich weiterentwickelnden Erkenntnisse des Modells ersetzt werden.

Maschinelle Intuition verstehen

Die Version Cogito v2 skaliert diesen Selbstverbesserungszyklus erheblich. Die Grundidee ist einfach: Das Denken sollte in die Kernintelligenz des Modells eingebunden sein und nicht nur während der Inferenz aktiviert werden.

Um dies zu erreichen, hat das Unternehmen ein System implementiert, bei dem Modelle während des Trainings Argumentationsketten generieren und dann aus ihren eigenen Zwischenprozessen lernen.

Interne Benchmarks bestätigen konkrete Verbesserungen. Das Flaggschiff-Modell 671B MoE übertrifft DeepSeek R1 bei Schlussfolgerungsaufgaben und erreicht oder übertrifft dessen neuestes Modell 0528, während es im Durchschnitt 60 % kürzere Schlussfolgerungsketten verwendet.

Bei Benchmarks wie MMLU, GSM8K und MGSM schneidet das Cogito 671B MoE im Vergleich zu führenden offenen Modellen wie Qwen1.5-72B und DeepSeek v3 konkurrenzfähig ab und nähert sich dem Leistungsniveau geschlossener Modelle wie Claude 4 Opus und o3.

Zu den wichtigsten Ergebnissen gehören:

• Im Schlussfolgerungsmodus erreichte Cogito 671B MoE bei mehrsprachigen Fragen und Antworten sowie Allgemeinwissen das gleiche Ergebnis wie DeepSeek R1 0528 und übertraf dieses bei Strategie und logischer Deduktion.
• Im Standardmodus (ohne Schlussfolgerungen) übertraf es DeepSeek v3 0324 und zeigte damit, dass die destillierte Intuition auch ohne erweiterte Schlussfolgerungsschritte zu einer Leistungssteigerung führt.
• Das Abschließen des Schlussfolgerns in weniger Schritten bringt praktische Vorteile mit sich: geringere Inferenzkosten und schnellere Antwortzeiten bei komplexen Abfragen.

Arora vergleicht dies mit dem Unterschied zwischen der Suche nach einem Zielort und einem bereits vorhandenen starken Gefühl dafür, wo dieser liegt.

„Da Cogito-Modelle während der Inferenz eine bessere Intuition für den richtigen Suchverlauf entwickeln, sind ihre Schlussfolgerungsketten um 60 % kürzer als die von DeepSeek R1“, erklärte er in einem Beitrag auf X.

Wo Deep Cogito-Modelle glänzen: Maschinenintuition in Aktion

Beispiele aus den internen Tests von Cogito v2 veranschaulichen diese Fähigkeit. In einer Mathematikaufgabe fragt ein Benutzer, ob ein Zug, der mit 80 mph fährt, 240 Meilen in weniger als 2,5 Stunden zurücklegen kann.

Während viele Modelle detaillierte, schrittweise Berechnungen durchführen und dabei Fehler machen können, führt Cogito 671B eine kurze interne Überlegung durch, berechnet 240 ÷ 80 = 3 Stunden und kommt zu dem richtigen Schluss, dass der Zug nicht rechtzeitig ankommen kann. Dabei verwendet es weniger als 100 interne Token, während DeepSeek R1 für dieselbe Antwort über 200 verwendet.

In einem Beispiel für juristische Argumentation zur Anwendbarkeit eines Urteils des Obersten Gerichtshofs der Vereinigten Staaten wendet der Argumentationsmodus von Cogito eine klare, zweistufige Logik an: Zunächst wird festgestellt, ob der hypothetische Fall mit dem Präzedenzfall übereinstimmt, dann wird die Schlussfolgerung begründet. Diese nuancierte, interpretative Argumentation stellt für viele LLMs nach wie vor eine Herausforderung dar.

Die Modelle zeigen auch eine verbesserte Behandlung von Mehrdeutigkeiten. Bei Multi-Hop-Fragen wie der Bestimmung familiärer Beziehungen (z. B. „Alice ist Bobs Mutter, Bob ist Charlies Vater. Was ist Alice für Charlie?“) identifizieren die Cogito v2-Modelle korrekt „Großmutter“, selbst wenn die Formulierung subtil geändert wird – ein Punkt, an dem andere offene Modelle oft scheitern.

Effizienz in großem Maßstab

Bemerkenswert ist, dass Deep Cogito angibt, alle acht Cogito-Modelle (einschließlich der v1-Serie) für insgesamt weniger als 3,5 Millionen US-Dollar trainiert zu haben – ein Bruchteil der gemeldeten neunstelligen Budgets für einige führende Frontier-Modelle.

Dieses Budget umfasste umfangreiche Datengenerierung, synthetische Verstärkung, Infrastruktur und über 1.000 Trainingsexperimente.

Arora führt diese Kosteneffizienz auf ein Kernprinzip zurück: Der Aufbau intelligenterer Modelle hängt von einem besseren grundlegenden Verständnis („Prioren“) ab und nicht einfach davon, ihnen mehr Daten zuzuführen.

Indem Modelle lernen, redundante oder irreführende Argumentationswege zu vermeiden, liefert Cogito v2 eine robuste Leistung, ohne die Inferenzzeit oder -kosten in die Höhe zu treiben – ein entscheidender Vorteil für API-basierte Dienste oder den Einsatz von Edge-Geräten, bei denen Latenz und Kosten wichtige Faktoren sind.

Ausblick: Die Roadmap von Deep Cogito

Cogito v2 ist ein iterativer Schritt, kein Endprodukt. Arora beschreibt den Ansatz des Unternehmens als „Hill Climbing“: Modelle ausführen, aus ihren Schlussfolgerungen lernen, diese Erkenntnisse destillieren und den Zyklus wiederholen. Jede Modellversion baut auf ihrer Vorgängerversion auf.

Deep Cogito bleibt auch weiterhin der Open-Source-Philosophie für alle seine aktuellen und zukünftigen Modelle verpflichtet. Seine Arbeit hat bereits die Unterstützung von Investoren wie Eric Vishria von Benchmark und Aditya Agarwal von South Park Commons gewonnen.

Zu den Infrastrukturpartnern gehören Hugging Face, Together AI, RunPod, Baseten, das Llama-Team von Meta und Unsloth.

Für Entwickler, Forscher und Unternehmen stehen die Modelle ab sofort für die lokale Nutzung, multimodale Vergleiche und domänenspezifische Feinabstimmungen zur Verfügung.

Für die Open-Source-KI-Community ist Cogito v2 mehr als nur ein Meilenstein. Es präsentiert ein neues Paradigma für den Aufbau von Intelligenz: eines, das sich nicht darauf konzentriert, härter zu denken, sondern darauf, besser zu denken.