Deep Cogito veröffentlicht erstelle Open-Source-KI-Modelle und landet bereits auf der Spitze

Deep Cogito tritt mit revolutionären AI-Modellen auf

In einem bahnbrechenden Schritt hat Deep Cogito, ein innovatives AI-Forschungsstart-up aus San Francisco, offiziell seine erste Reihe offener grosssprachiger Modelle (LLMs), genannt Cogito v1, vorgestellt. Diese Modelle, die auf Basis von Meta’s Llama 3.2 feingetunt wurden, verfügen über hybride Schlussfolgerungsvermögen, die es ihnen ermöglichen, schnell zu reagieren oder nach innen gerichtete Gedanken zu führen – eine Funktion, die an OpenAI’s „o“-Reihe und DeepSeek R1 erinnert.

Deep Cogito strebt an, AI über konventionelle menschliche Überwachungsschranken hinauszuführen, indem sie iteratives Selbstverbesserung innerhalb ihrer Modelle fördert. Ihr ultimativer Ziel ist es, Superintelligenz – AI, die in allen Bereichen menschlichen Können übertrifft – zu entwickeln. Doch die Firma versichert, dass alle Modelle weiterhin offen zugänglich bleiben werden.

Drishan Arora, CEO und Mitbegründer von Deep Cogito, war zuvor Senior Software Engineer bei Google und leitete die Entwicklung von LLMs für Google’s generativen Suchprodukt. Er sagte mit Bestimmtheit auf X, dass diese Modelle unter ihrer Skalierung zu den stärksten offenen Modellen zählen und Wettbewerbern wie LLaMA, DeepSeek und Qwen überlegen sind.

Das Modellangebot

Die anfängliche Ausgabe umfasst fünf Basissizes – 3 Milliarden, 8 Milliarden, 14 Milliarden, 32 Milliarden und 70 Milliarden Parameter – und ist bereits auf Plattformen wie Hugging Face, Ollama und APIs über Fireworks und Together AI verfügbar. Diese Modelle unterliegen den Lizenzbedingungen von Llama, wodurch kommerzielle Nutzung für bis zu 700 Millionen monatliche Nutzer vor einer kostenpflichtigen Lizenz von Meta möglich ist.

Deep Cogito plant in naher Zukunft noch grössere Modelle zu veröffentlichen, die potenziell bis zu 671 Milliarden Parameter erreichen könnten.

Trainingsansatz: Iterierte Destillation und Verstärkung (IDA)

Arora stellte IDA, einen neuen Ansatz, der sich deutlich von traditionellen Verstärkungsverfahren unterscheidet, die auf menschlichen Rückmeldungen basieren (RLHF) oder Lehrmodelldestillation. IDA legt den Fokus darauf, zusätzliche Rechenressourcen bereitzustellen, um bessere Lösungen zu generieren, die anschliessend in das Modell selbst eingebettet werden – ein kontinuierlicher Feedback-Loop, der die Fähigkeiten steigert. Dieser Ansatz spiegelt Google AlphaGo’s Selbstspielstrategie wider, die für die natürlichsprachliche Verarbeitung adaptiert wurde.

Benchmark und Evaluierungen

Deep Cogito präsentierte umfassende Evaluierungsergebnisse, in denen Cogito-Modelle gegen offene Gegenstücke in Bereichen wie allgemeinem Wissen, mathematischer Schlussfolgerung und mehrsprachigen Aufgaben verglichen wurden. Schlüsselbefunde umfassen:

• Cogito 3B (Standard): Übertreffen LLaMA 3.2 3B bei MMLU um 6,7 Prozentpunkte (65,4 % vs. 58,7 %) und bei Hellaswag um 18,8 Punkte (81,1 % vs. 62,3 %).
• Cogito 3B (Schlussfolgerungsmodus): Erzielt 72,6 % bei MMLU und 84,2 % bei ARC.
• Cogito 8B (Standard): Erzielt 80,5 % bei MMLU und übertrifft LLaMA 3.1 8B um 12,8 Punkte.
• Cogito 8B (Schlussfolgerungsmodus): Erzielt 83,1 % bei MMLU und 92,0 % bei ARC.
• Cogito 70B (Standard): Führt LLaMA 3.3 70B bei MMLU um 6,4 Punkte (91,7 % vs. 85,3 %) und übertrifft LLaMA 4 Scout 109B bei aggregierten Benchmarks (54,5 % vs. 53,3 %).

Obwohl Cogito-Modelle im Schlussfolgerungsmodus herausragend performen, bestehen bei mathematischen Aufgaben bestimmte Kompromisse.

Natives Werkzeugaufrufen

Deep Cogito bewertete auch die Performanz seiner Modelle im Hinblick auf natives Werkzeugaufrufen, ein entscheidender Aspekt für Agent- und API-integrierte Systeme.

• Cogito 3B: Unterstützt vier Werkzeugaufruf-Aufgaben und zeigt herausragende Leistung bei einfachen und mehrfachen Werkzeugaufrufen.
• Cogito 8B: Zeigt starke Leistung bei allen Werkzeugaufruf-Typen und übertrifft LLaMA 3.1 8B deutlich.

Zukünftige Pläne

Im Hinblick auf die Zukunft plant Deep Cogito grössere Modelle einzuführen, darunter Mixture-of-Experts-Varianten mit 109 Milliarden, 400 Milliarden und 671 Milliarden Parametern, sowie fortlaufende Aktualisierungen bestehender Checkpoints. Die Firma betrachtet IDA als nachhaltigen Weg zur skalierbaren Selbstverbesserung, wodurch die Abhängigkeit von menschlichen oder statischen Lehrmodellen reduziert wird.

Arora betonte, dass realweltliche Nützlichkeit und Anpassungsfähigkeit die ultimative Maßstab für den Erfolg sind und betonte, dass dies lediglich der Beginn einer vielversprechenden Reise sei. Deep Cogito arbeitet zusammen mit renommierten Partnern wie Hugging Face, RunPod, Fireworks AI, Together AI und Ollama, um sicherzustellen, dass alle Modelle offen zugänglich und frei verfügbar bleiben.