Les LLM de Deep Cogito surpassent les modèles de taille similaire à l'aide d'IDA

Deep Cogito, une entreprise basée à San Francisco, fait des vagues dans la communauté de l'IA avec sa dernière version de modèles ouverts en grande langue (LLMS). Ces modèles, qui se trouvent dans différentes tailles allant de 3 milliards à 70 milliards de paramètres, ne sont pas seulement un autre ensemble d'outils d'IA; Ils sont un pas audacieux vers ce que l'entreprise appelle la «superintelligence générale». Deep Cogito affirme que chacun de leurs modèles surpasse les principaux modèles ouverts de tailles similaires, y compris ceux de Llama, Deepseek et Qwen, dans la plupart des références standard. C'est tout à fait une affirmation, mais ce qui est encore plus impressionnant, c'est que leur modèle 70B aurait surpassé le modèle de mélange de mélange de réseaux LLAMA 4 109b récemment publié (MOE).

Distillation et amplification itérée (IDA)

Au cœur de la percée de Deep Cogito se trouve une nouvelle approche de formation qu'ils appellent la distillation et l'amplification itérées (IDA). Cette méthode est décrite comme "une stratégie d'alignement évolutive et efficace pour la superintelligence générale en utilisant l'auto-amélioration itérative". Il est conçu pour dépasser les limites de la formation LLM traditionnelle, où l'intelligence du modèle frappe souvent un plafond défini par des modèles «surveillants» plus grands ou des conservateurs humains.

Le processus IDA tourne autour de deux étapes clés qui sont répétées à maintes reprises:

• Amplification: Cette étape utilise plus de puissance de calcul pour aider le modèle à proposer de meilleures solutions ou capacités, tout comme des techniques de raisonnement avancées.
• Distillation: Ici, le modèle internalise ces capacités améliorées, affinant ses paramètres.

Deep Cogito soutient que cela crée une "boucle de rétroaction positive", permettant à l'intelligence du modèle de croître plus directement avec les ressources de calcul et l'efficacité du processus IDA lui-même, plutôt que d'être limité par l'intelligence d'un surveillant.

La société souligne que des succès historiques comme Alphago, soulignant que le «raisonnement avancé et l'auto-amélioration itérative» étaient cruciaux. Ida, affirment-ils, apporte ces éléments dans la formation LLM. Ils vantent également l'efficacité de l'IDA, notant que leur équipe, bien que petite, a réussi à développer ces modèles en seulement 75 jours. Par rapport à d'autres méthodes telles que l'apprentissage du renforcement de la rétroaction humaine (RLHF) ou la distillation standard à partir de modèles plus grands, l'IDA offrait une meilleure évolutivité.

Comme preuve, Deep Cogito souligne comment leur modèle 70B surpasse à la fois LLAMA 3.3 70B (distillé à partir d'un modèle 405b) et Llama 4 Scout 109b (distillé à partir d'un modèle de paramètre 2T).

Capacités et performances des modèles de cogito profond

Les nouveaux modèles Cogito, qui s'appuient sur les points de contrôle LLAMA et QWEN, sont adaptés au codage, aux appels de fonction et aux applications agentiques. Une caractéristique remarquable est leur double fonctionnalité: "Chaque modèle peut répondre directement (LLM standard), ou auto-réflexion avant de répondre (comme les modèles de raisonnement)." Cela reflète les capacités vues dans des modèles comme Claude 3.5. Cependant, Deep Cogito mentionne qu'ils ne se sont pas concentrés sur des chaînes de raisonnement très longues, la priorisation de réponses plus rapides et l'efficacité des chaînes plus courtes distillées.

La société a partagé de vastes résultats de référence, en comparant leurs modèles COGITO avec des modèles ouverts de pointe équivalents dans les modes directs et de raisonnement. À travers une gamme de repères comme MMLU, MMLU-PRO, ARC, GSM8K et mathématiques, et à travers différentes tailles de modèles (3b, 8b, 14b, 32b, 70b), les modèles Cogito montrent généralement des améliorations de performances significatives. Par exemple, le modèle COGITO 70B marque 91,73% sur le MMLU en mode standard, une amélioration de + 6,40% par rapport à LLAMA 3.3 70B et 91,00% en mode de réflexion, une augmentation de 4,40% par rapport à la distill R1 profondel 70b. Les scores LiveBench reflètent également ces gains.

Voici des repères de modèles 14B pour une comparaison de taille moyenne:

Alors que Deep Cogito reconnaît que les repères ne capturent pas pleinement l'utilité du monde réel, ils restent confiants dans les performances pratiques de leurs modèles. Cette version est considérée comme un aperçu, la société indiquant qu'elle est "toujours dans les premiers stades de cette courbe de mise à l'échelle". Ils prévoient de publier des points de contrôle améliorés pour les tailles actuelles et d'introduire des modèles MOE plus grands (109b, 400b, 671b) dans les semaines et les mois à venir. Tous les futurs modèles seront également open-source.