Deep Cogito lance ses premiers modèles d'IA open source et domine déjà les classements

Deep Cogito lance des modèles d'IA révolutionnaires

Dans un mouvement historique, Deep Cogito, une startup de recherche en IA de pointe située à San Francisco, a officiellement présenté sa première série de modèles de langage grande taille (LLMs) open source, baptisés Cogito v1. Ces modèles, affinés à partir de Llama 3.2 de Meta, possèdent des capacités hybrides de raisonnement leur permettant de répondre rapidement ou de s'engager dans une introspection—a une fonctionnalité rappelant la série « o » d'OpenAI et DeepSeek R1.

Deep Cogito ambitionne de repousser les limites de l'IA au-delà des contraintes traditionnelles de supervision humaine en favorisant une auto-amélioration itérative au sein de ses modèles. Son objectif ultime ? Développer une superintelligence—une IA surpassant les capacités humaines dans tous les domaines. Pourtant, l'entreprise assure que tous les modèles resteront open source.

Drishan Arora, PDG et cofondateur de Deep Cogito, a précédemment exercé en tant qu'ingénieur logiciel senior chez Google, dirigeant le développement de LLMs pour le produit de recherche générative de Google. Il a affirmé sur X que ces modèles sont parmi les plus puissants modèles open source à leur échelle, surpassant des concurrents comme LLaMA, DeepSeek et Qwen.

La gamme de modèles

Le lancement initial comprend cinq tailles de base—3 milliards, 8 milliards, 14 milliards, 32 milliards et 70 milliards de paramètres—and est déjà disponible sur des plateformes telles que Hugging Face, Ollama, et via des API Fireworks et Together AI. Ces modèles opèrent sous les termes de licence Llama, autorisant une utilisation commerciale pour jusqu'à 700 millions d'utilisateurs mensuels avant de nécessiter une licence payante de Meta.

Deep Cogito prévoit de déployer des modèles encore plus volumineux, potentiellement atteignant 671 milliards de paramètres, dans un avenir rapproché.

Approche d'entraînement : Distillation et Amplification Itératives (IDA)

Arora a introduit IDA, une méthode novatrice distincte des méthodes traditionnelles d'apprentissage par renforcement à partir de retours humains (RLHF) ou de distillation de modèles enseignants. IDA se concentre sur l'allocation de ressources computationnelles supplémentaires pour générer des solutions supérieures, puis intègre cette raison améliorée dans le modèle lui-même—un cercle de feedback continu visant à améliorer les capacités. Cette approche reflète la stratégie de jeu autonome de Google AlphaGo adaptée au traitement du langage naturel.

Benchmarks et évaluations

Deep Cogito a présenté des résultats d'évaluation exhaustifs comparant les modèles Cogito aux homologues open source dans des domaines tels que la connaissance générale, la raison mathématique et les tâches multilingues. Les principaux résultats incluent :

• Cogito 3B (Standard) : Surpasse LLaMA 3.2 3B sur MMLU de 6.7 points (65.4% vs. 58.7%) et sur Hellaswag de 18.8 points (81.1% vs. 62.3%).
• Cogito 3B (Mode Raisonnement) : Score 72.6% sur MMLU et 84.2% sur ARC.
• Cogito 8B (Standard) : Atteint 80.5% sur MMLU, surpassant LLaMA 3.1 8B de 12.8 points.
• Cogito 8B (Mode Raisonnement) : Score 83.1% sur MMLU et 92.0% sur ARC.
• Cogito 70B (Standard) : Mène LLaMA 3.3 70B sur MMLU de 6.4 points (91.7% vs. 85.3%) et dépasse LLaMA 4 Scout 109B sur des benchmarks globaux (54.5% vs. 53.3%).

Bien que les modèles Cogito excellent en mode raisonnement, certains compromis existent, particulièrement dans les tâches mathématiques.

Appel natif aux outils

Deep Cogito a également évalué la performance d'appel natif aux outils de ses modèles, un aspect crucial pour les systèmes intégrés d'agents et d'API.

• Cogito 3B : Supporte quatre tâches d'appel d'outils et excelle dans les appels simples et multiples d'outils.
• Cogito 8B : Montre une forte performance dans tous les types d'appel d'outils, surpassant nettement LLaMA 3.1 8B.

Plans futurs

À l'avenir, Deep Cogito prévoit d'introduire des modèles plus volumineux, y compris des variantes mixture-of-experts de 109B, 400B et 671B paramètres, ainsi que des mises à jour continues des points de contrôle existants. L'entreprise considère IDA comme un chemin durable vers une auto-amélioration scalable, réduisant la dépendance aux modèles enseignants humains ou statiques.

Arora a souligné que l'utilité réelle et l'adaptabilité sont les mesures ultimes du succès, soulignant que ceci n'est que le début d'un voyage prometteur. Deep Cogito collabore avec des entités renommées comme Hugging Face, RunPod, Fireworks AI, Together AI et Ollama, assurant que tous les modèles restent open source et accessibles gratuitement.