Les LLM de Deep Cogito surpassent les modèles de taille similaire à l'aide d'IDA

Deep Cogito, une entreprise basée à San Francisco, fait des vagues dans la communauté de l'IA avec sa dernière sortie de modèles de langage de grande échelle (LLMs) ouverts. Ces modèles, qui varient en taille de 3 milliards à 70 milliards de paramètres, ne sont pas seulement un nouvel ensemble d'outils d'IA ; ils représentent un pas audacieux vers ce que l'entreprise appelle une "superintelligence générale". Deep Cogito affirme que chacun de leurs modèles surpasse les principaux modèles ouverts de tailles similaires, y compris ceux de LLAMA, DeepSeek et Qwen, dans la plupart des benchmarks standards. C'est une affirmation impressionnante, mais ce qui est encore plus remarquable, c'est que leur modèle 70B aurait surpassé le modèle Llama 4 109B Mixture-of-Experts (MoE) récemment publié.

Distillation et Amplification Itérées (IDA)

Au cœur de la percée de Deep Cogito se trouve une nouvelle approche d'entraînement qu'ils appellent Distillation et Amplification Itérées (IDA). Cette méthode est décrite comme "une stratégie d'alignement évolutive et efficace pour la superintelligence générale utilisant l'auto-amélioration itérative". Elle est conçue pour dépasser les limites de l'entraînement traditionnel des LLMs, où l'intelligence du modèle atteint souvent un plafond défini par des modèles "superviseurs" plus grands ou des curateurs humains.

Le processus IDA repose sur deux étapes clés répétées encore et encore :

• Amplification : Cette étape utilise plus de puissance de calcul pour aider le modèle à trouver de meilleures solutions ou capacités, un peu comme des techniques de raisonnement avancées.
• Distillation : Ici, le modèle internalise ces capacités améliorées, affinant ses paramètres.

Deep Cogito soutient que cela crée une "boucle de rétroaction positive", permettant à l'intelligence du modèle de croître plus directement avec les ressources computationnelles et l'efficacité du processus IDA lui-même, plutôt que d'être limitée par l'intelligence d'un superviseur.

L'entreprise pointe du doigt des succès historiques comme AlphaGo, soulignant que "le raisonnement avancé et l'auto-amélioration itérative" étaient cruciaux. L'IDA, affirment-ils, intègre ces éléments dans l'entraînement des LLMs. Ils vantent également l'efficacité de l'IDA, notant que leur équipe, bien que petite, a réussi à développer ces modèles en seulement environ 75 jours. Comparée à d'autres méthodes comme l'Apprentissage par Renforcement à partir des Retours Humains (RLHF) ou la distillation standard à partir de modèles plus grands, l'IDA est censée offrir une meilleure évolutivité.

Comme preuve, Deep Cogito met en avant la performance de leur modèle 70B, qui surpasse à la fois le Llama 3.3 70B (distillé d'un modèle 405B) et le Llama 4 Scout 109B (distillé d'un modèle de 2T paramètres).

Capacités et Performance des Modèles Deep Cogito

Les nouveaux modèles Cogito, qui s'appuient sur les checkpoints de Llama et Qwen, sont conçus pour le codage, l'appel de fonctions et les applications agentiques. Une caractéristique notable est leur double fonctionnalité : "Chaque modèle peut répondre directement (LLM standard), ou réfléchir avant de répondre (comme les modèles de raisonnement)." Cela reflète des capacités observées dans des modèles comme Claude 3.5. Cependant, Deep Cogito mentionne qu'ils n'ont pas mis l'accent sur des chaînes de raisonnement très longues, privilégiant des réponses plus rapides et l'efficacité de la distillation de chaînes plus courtes.

L'entreprise a partagé des résultats de benchmarks détaillés, comparant leurs modèles Cogito à des modèles ouverts de pointe de taille équivalente en modes direct et de raisonnement. À travers une gamme de benchmarks comme MMLU, MMLU-Pro, ARC, GSM8K et MATH, et à travers différentes tailles de modèles (3B, 8B, 14B, 32B, 70B), les modèles Cogito montrent généralement des améliorations significatives de performance. Par exemple, le modèle Cogito 70B obtient un score de 91,73 % sur MMLU en mode standard, une amélioration de +6,40 % par rapport à Llama 3.3 70B, et 91,00 % en mode réflexion, une augmentation de +4,40 % par rapport à Deepseek R1 Distill 70B. Les scores Livebench reflètent également ces gains.

Voici les benchmarks des modèles 14B pour une comparaison de taille moyenne :

Bien que Deep Cogito reconnaisse que les benchmarks ne capturent pas pleinement l'utilité réelle, ils restent confiants dans la performance pratique de leurs modèles. Cette sortie est considérée comme un aperçu, l'entreprise déclarant qu'ils sont "encore aux premiers stades de cette courbe d'évolutivité". Ils prévoient de publier des checkpoints améliorés pour les tailles actuelles et d'introduire de plus grands modèles MoE (109B, 400B, 671B) dans les semaines et mois à venir. Tous les futurs modèles seront également open-source.