O LLMS da Deep Cogito superou os modelos de tamanho semelhante usando IDA

Deep Cogito, uma empresa com sede em São Francisco, está causando impacto na comunidade de IA com seu mais recente lançamento de modelos de linguagem de grande escala (LLMs) abertos. Esses modelos, que variam em tamanhos de 3 bilhões a 70 bilhões de parâmetros, não são apenas mais um conjunto de ferramentas de IA; são um passo ousado em direção ao que a empresa chama de "superinteligência geral". A Deep Cogito afirma que cada um de seus modelos supera os principais modelos abertos de tamanhos semelhantes, incluindo aqueles da LLAMA, DeepSeek e Qwen, na maioria dos benchmarks padrão. É uma afirmação impressionante, mas o que é ainda mais impressionante é que seu modelo de 70B teria superado o recentemente lançado modelo Llama 4 109B Mixture-of-Experts (MoE).

Destilação e Amplificação Iteradas (IDA)

No cerne do avanço da Deep Cogito está uma nova abordagem de treinamento que eles chamam de Destilação e Amplificação Iteradas (IDA). Esse método é descrito como "uma estratégia de alinhamento escalável e eficiente para superinteligência geral usando autoaperfeiçoamento iterativo". Ele é projetado para superar as limitações do treinamento tradicional de LLMs, onde a inteligência do modelo frequentemente atinge um teto definido por modelos "supervisores" maiores ou curadores humanos.

O processo IDA gira em torno de dois passos principais que são repetidos continuamente:

• Amplificação: Esta etapa utiliza mais poder computacional para ajudar o modelo a encontrar melhores soluções ou capacidades, semelhante a técnicas de raciocínio avançado.
• Destilação: Aqui, o modelo internaliza essas capacidades aprimoradas, refinando seus parâmetros.

A Deep Cogito argumenta que isso cria um "ciclo de retroalimentação positiva", permitindo que a inteligência do modelo cresça mais diretamente com os recursos computacionais e a eficiência do próprio processo IDA, em vez de ser limitada pela inteligência de um supervisor.

A empresa aponta para sucessos históricos como o AlphaGo, enfatizando que "Raciocínio Avançado e Autoaperfeiçoamento Iterativo" foram cruciais. O IDA, eles afirmam, traz esses elementos para o treinamento de LLMs. Eles também destacam a eficiência do IDA, observando que sua equipe, embora pequena, conseguiu desenvolver esses modelos em cerca de 75 dias. Quando comparado a outros métodos como Aprendizado por Reforço a partir de Feedback Humano (RLHF) ou destilação padrão de modelos maiores, o IDA é dito oferecer melhor escalabilidade.

Como prova, a Deep Cogito destaca como seu modelo de 70B supera tanto o Llama 3.3 70B (destilado de um modelo de 405B) quanto o Llama 4 Scout 109B (destilado de um modelo de 2T de parâmetros).

Capacidades e Desempenho dos Modelos Deep Cogito

Os novos modelos Cogito, que se baseiam em checkpoints do Llama e Qwen, são adaptados para codificação, chamada de funções e aplicações agentivas. Um recurso destacado é sua funcionalidade dupla: "Cada modelo pode responder diretamente (LLM padrão) ou autorrefletir antes de responder (como modelos de raciocínio)." Isso reflete capacidades vistas em modelos como Claude 3.5. No entanto, a Deep Cogito menciona que não focou em cadeias de raciocínio muito longas, priorizando respostas mais rápidas e a eficiência de destilar cadeias mais curtas.

A empresa compartilhou resultados extensivos de benchmarks, comparando seus modelos Cogito contra modelos abertos de última geração de tamanhos equivalentes, tanto em modos direto quanto de raciocínio. Em uma variedade de benchmarks como MMLU, MMLU-Pro, ARC, GSM8K e MATH, e em diferentes tamanhos de modelo (3B, 8B, 14B, 32B, 70B), os modelos Cogito geralmente mostram melhorias significativas de desempenho. Por exemplo, o modelo Cogito 70B pontua 91,73% no MMLU em modo padrão, uma melhoria de +6,40% sobre o Llama 3.3 70B, e 91,00% no modo de pensamento, um aumento de +4,40% sobre o Deepseek R1 Distill 70B. As pontuações do Livebench também refletem esses ganhos.

Aqui estão os benchmarks dos modelos de 14B para uma comparação de tamanho médio:

Embora a Deep Cogito reconheça que os benchmarks não capturam totalmente a utilidade no mundo real, eles permanecem confiantes no desempenho prático de seus modelos. Este lançamento é considerado uma prévia, com a empresa afirmando que está "ainda nos estágios iniciais dessa curva de escalonamento". Eles planejam lançar checkpoints aprimorados para os tamanhos atuais e introduzir modelos MoE maiores (109B, 400B, 671B) nas próximas semanas e meses. Todos os modelos futuros também serão de código aberto.