O LLMS da Deep Cogito superou os modelos de tamanho semelhante usando IDA

A Deep Cogito, uma empresa de São Francisco, está fazendo ondas na comunidade de IA com o último lançamento de grandes modelos de idiomas abertos (LLMS). Esses modelos, que vêm em vários tamanhos que variam de 3 bilhões a 70 bilhões de parâmetros, não são apenas mais um conjunto de ferramentas de IA; Eles são um passo ousado para o que a empresa chama de "superinteligência geral". O Deep Cogito afirma que cada um de seus modelos supera os principais modelos abertos de tamanhos semelhantes, incluindo os de Llama, Deepseek e Qwen, na maioria dos benchmarks padrão. É uma reivindicação, mas o que é ainda mais impressionante é que seu modelo 70B supostamente superou o modelo Llama 4 109B (MOE) lançado recentemente lançado.

Destilação e amplificação iterada (IDA)

No coração do avanço de Deep Cogito, há uma nova abordagem de treinamento que eles chamam de destilação e amplificação iterada (IDA). Este método é descrito como "uma estratégia de alinhamento escalável e eficiente para a superinteligência geral usando auto-aperfeiçoamento iterativo". Ele foi projetado para ultrapassar as limitações do treinamento tradicional de LLM, onde a inteligência do modelo geralmente atinge um teto definido por modelos maiores de "superintendentes" ou curadores humanos.

O processo da IDA gira em torno de duas etapas principais que são repetidas repetidas vezes:

• Amplificação: Esta etapa usa mais energia computacional para ajudar o modelo a criar melhores soluções ou recursos, assim como as técnicas avançadas de raciocínio.
• Destilação: Aqui, o modelo internaliza esses recursos aprimorados, refinando seus parâmetros.

O Deep Cogito argumenta que isso cria um "ciclo de feedback positivo", permitindo que a inteligência do modelo cresça mais diretamente com os recursos computacionais e com a eficiência do próprio processo de IDA, em vez de ser limitado pela inteligência de um superintendente.

A empresa aponta para sucessos históricos como o AlphaGo, enfatizando que "raciocínio avançado e auto-aperfeiçoamento iterativo" eram cruciais. Ida, eles afirmam, traz esses elementos para o treinamento da LLM. Eles também divulgam a eficiência da IDA, observando que sua equipe, embora pequena, conseguiu desenvolver esses modelos em apenas 75 dias. Quando comparado a outros métodos como o aprendizado de reforço com o feedback humano (RLHF) ou a destilação padrão de modelos maiores, diz -se que a IDA oferece melhor escalabilidade.

Como prova, o Deep Cogito destaca como seu modelo 70B supera o LLAMA 3.3 70B (destilado de um modelo 405B) e LLAMA 4 Scout 109b (destilado de um modelo de parâmetro 2T).

Recursos e desempenho de modelos Deep Cogito

Os novos modelos Cogito, que se baseiam nos pontos de verificação LLAMA e QWEN, são adaptados para aplicações de codificação, chamada de função e agênticos. Um recurso de destaque é sua funcionalidade dupla: "Cada modelo pode responder diretamente (LLM padrão) ou se auto-refletir antes de responder (como modelos de raciocínio)". Isso reflete os recursos vistos em modelos como Claude 3.5. No entanto, o Deep Cogito menciona que eles não se concentraram em cadeias de raciocínio muito longas, priorizando respostas mais rápidas e a eficiência de destilar cadeias mais curtas.

A empresa compartilhou extensos resultados de referência, comparando seus modelos Cogito com os modelos abertos de ponta equivalentes ao tamanho equivalentes nos modos diretos e de raciocínio. Em uma variedade de benchmarks como MMLU, MMLU-Pro, ARC, GSM8K e Math, e em diferentes tamanhos de modelo (3B, 8B, 14B, 32B, 70B), os modelos Cogito geralmente mostram melhorias significativas de desempenho. Por exemplo, o modelo Cogito 70B pontua 91,73% no MMLU no modo padrão, uma melhoria de uma +6,40% em relação à llama 3,3 70B e 91,00% no modo de pensamento, um aumento de +4,40% sobre o DeepSeek R1 Destill 70b. As pontuações do LiveBench também refletem esses ganhos.

Aqui estão os benchmarks de modelos 14B para uma comparação de tamanho médio:

Embora o Deep Cogito reconheça que os benchmarks não capturam totalmente a utilidade do mundo real, eles permanecem confiantes no desempenho prático de seus modelos. Este lançamento é considerado uma prévia, com a empresa afirmando que "ainda está nos estágios iniciais dessa curva de escala". Eles planejam liberar pontos de verificação aprimorados para os tamanhos atuais e introduzir modelos MOE maiores (109b, 400b, 671b) nas próximas semanas e meses. Todos os modelos futuros também serão de código aberto.