Deep Cogito veröffentlicht erstelle Open-Source-KI-Modelle und landet bereits auf der Spitze

Deep Cogito bringt revolutionäre KI-Modelle auf den Markt

In einem bahnbrechenden Schritt hat Deep Cogito, ein innovatives KI-Forschungs-Startup mit Sitz in San Francisco, offiziell seine erste Reihe von Open-Source-Großsprachmodellen (LLMs) namens Cogito v1 vorgestellt. Diese Modelle, die aus Metas Llama 3.2 optimiert wurden, verfügen über hybride Denkfähigkeiten, die es ihnen ermöglichen, schnell zu reagieren oder introspektiv zu denken – eine Funktion, die an OpenAIs „o“-Serie und DeepSeek R1 erinnert.

Deep Cogito strebt an, KI über die herkömmlichen menschlichen Überwachungsgrenzen hinauszuführen, indem es iterative Selbstverbesserung innerhalb seiner Modelle fördert. Ihr ultimatives Ziel? Die Entwicklung von Superintelligenz – KI, die menschliche Fähigkeiten in allen Bereichen übertrifft. Dennoch versichert das Unternehmen, dass alle Modelle Open-Source bleiben werden.

Drishan Arora, CEO und Mitbegründer von Deep Cogito, war zuvor Senior Software Engineer bei Google und leitete die Entwicklung von LLMs für Googles generatives Suchprodukt. Er erklärte selbstbewusst auf X, dass diese Modelle zu den stärksten offenen Modellen ihrer Größenordnung gehören und Konkurrenten wie LLaMA, DeepSeek und Qwen übertreffen.

Die Modellpalette

Das anfängliche Angebot umfasst fünf Grundgrößen – 3 Milliarden, 8 Milliarden, 14 Milliarden, 32 Milliarden und 70 Milliarden Parameter – und ist bereits auf Plattformen wie Hugging Face, Ollama sowie über APIs von Fireworks und Together AI zugänglich. Diese Modelle unterliegen den Lizenzbedingungen von Llama, die eine kommerzielle Nutzung für bis zu 700 Millionen monatliche Nutzer erlauben, bevor eine kostenpflichtige Lizenz von Meta erforderlich ist.

Deep Cogito plant, in naher Zukunft noch größere Modelle einzuführen, die potenziell bis zu 671 Milliarden Parameter erreichen könnten.

Trainingsansatz: Iterierte Destillation und Verstärkung (IDA)

Arora stellte IDA vor, eine neuartige Methode, die sich von traditionellem Verstärkungslernen mit menschlichem Feedback (RLHF) oder Lehrer-Modell-Destillation unterscheidet. IDA konzentriert sich darauf, zusätzliche Rechenressourcen bereitzustellen, um überlegene Lösungen zu generieren, die anschließend in das Modell selbst eingebettet werden – ein kontinuierlicher Feedback-Zyklus, der darauf abzielt, die Fähigkeiten zu steigern. Dieser Ansatz ähnelt der Selbstspiel-Strategie von Google AlphaGo, angepasst für die Verarbeitung natürlicher Sprache.

Benchmarks und Evaluierungen

Deep Cogito präsentierte umfassende Evaluationsergebnisse, die Cogito-Modelle mit Open-Source-Konkurrenten in Bereichen wie Allgemeinwissen, mathematisches Denken und mehrsprachige Aufgaben vergleichen. Wichtige Ergebnisse sind:

• Cogito 3B (Standard): Übertrifft LLaMA 3.2 3B auf MMLU um 6,7 Prozentpunkte (65,4 % vs. 58,7 %) und auf Hellaswag um 18,8 Punkte (81,1 % vs. 62,3 %).
• Cogito 3B (Denkmodus): Erreicht 72,6 % auf MMLU und 84,2 % auf ARC.
• Cogito 8B (Standard): Erreicht 80,5 % auf MMLU und übertrifft LLaMA 3.1 8B um 12,8 Punkte.
• Cogito 8B (Denkmodus): Erreicht 83,1 % auf MMLU und 92,0 % auf ARC.
• Cogito 70B (Standard): Führt LLaMA 3.3 70B auf MMLU um 6,4 Punkte an (91,7 % vs. 85,3 %) und übertrifft LLaMA 4 Scout 109B bei aggregierten Benchmarks (54,5 % vs. 53,3 %).

Während Cogito-Modelle im Denkmodus herausragend sind, gibt es bestimmte Kompromisse, insbesondere bei mathematischen Aufgaben.

Natives Tool-Calling

Deep Cogito bewertete auch die Leistung seiner Modelle beim nativen Tool-Calling, ein entscheidender Aspekt für Agenten- und API-integrierte Systeme.

• Cogito 3B: Unterstützt vier Tool-Calling-Aufgaben und glänzt bei einfachen und mehrfachen Tool-Aufrufen.
• Cogito 8B: Zeigt starke Leistung bei allen Arten von Tool-Aufrufen und übertrifft LLaMA 3.1 8B deutlich.

Zukunftspläne

Ausblickend plant Deep Cogito, größere Modelle einzuführen, einschließlich Mixture-of-Experts-Varianten mit 109B, 400B und 671B Parametern, neben fortlaufenden Updates für bestehende Checkpoints. Das Unternehmen sieht IDA als nachhaltigen Weg für skalierbare Selbstverbesserung, die die Abhängigkeit von menschlichen oder statischen Lehrer-Modellen reduziert.

Arora betonte, dass realer Nutzen und Anpassungsfähigkeit die ultimativen Maßstäbe für Erfolg sind und dass dies lediglich der Beginn einer vielversprechenden Reise ist. Deep Cogito arbeitet mit renommierten Unternehmen wie Hugging Face, RunPod, Fireworks AI, Together AI und Ollama zusammen, um sicherzustellen, dass alle Modelle Open-Source und frei zugänglich bleiben.