Deep Cogito's LLMS superan modelos de tamaño similar con IDA

Deep Cogito, una empresa con sede en San Francisco, está haciendo olas en la comunidad de IA con su último lanzamiento de Open Language Models (LLMS). Estos modelos, que vienen en varios tamaños que van desde 3 mil millones a 70 mil millones de parámetros, no son solo otro conjunto de herramientas de IA; Son un paso audaz hacia lo que la compañía llama "superinteligencia general". Deep Cogito afirma que cada uno de sus modelos supera a los principales modelos abiertos de tamaños similares, incluidos los de Llama, Deepseek y Qwen, en la mayoría de los puntos de referencia estándar. Es una gran afirmación, pero lo que es aún más impresionante es que su modelo 70B ha superado al modelo LLAMA 4 109B de expertos (MOE) recientemente lanzado.

Destilación y amplificación iterada (IDA)

En el corazón del avance de Deep Cogito hay un nuevo enfoque de entrenamiento que llaman destilación y amplificación iterada (IDA). Este método se describe como "una estrategia de alineación escalable y eficiente para la superinteligencia general utilizando la superación personal iterativa". Está diseñado para superar las limitaciones del entrenamiento tradicional de LLM, donde la inteligencia del modelo a menudo llega a un techo definido por modelos "supervisores" más grandes o curadores humanos.

El proceso de IDA gira en torno a dos pasos clave que se repiten una y otra vez:

• Amplificación: este paso utiliza más potencia computacional para ayudar al modelo a encontrar mejores soluciones o capacidades, al igual que las técnicas de razonamiento avanzado.
• Destilación: Aquí, el modelo internaliza estas capacidades mejoradas, refinando sus parámetros.

Deep Cogito argumenta que esto crea un "ciclo de retroalimentación positivo", lo que permite que la inteligencia del modelo crezca más directamente con los recursos computacionales y la eficiencia del proceso de IDA en sí, en lugar de estar limitada por la inteligencia de un supervisor.

La compañía señala éxitos históricos como Alphago, enfatizando que el "razonamiento avanzado y la superación personal iterativa" fueron cruciales. Ida, afirman, trae estos elementos a la capacitación de LLM. También promocionan la eficiencia de IDA, señalando que su equipo, aunque pequeño, logró desarrollar estos modelos en solo 75 días. En comparación con otros métodos como el aprendizaje de refuerzo de la retroalimentación humana (RLHF) o la destilación estándar de modelos más grandes, se dice que IDA ofrece una mejor escalabilidad.

Como prueba, Deep Cogito destaca cómo su modelo 70B supera a Llama 3.3 70B (destilado de un modelo 405B) y Llama 4 Scout 109B (destilado de un modelo de parámetros 2T).

Capacidades y rendimiento de modelos de cogito profundos

Los nuevos modelos Cogito, que se basan en puntos de control de LLAMA y QWEN, están adaptados a la codificación, las llamadas de funciones y las aplicaciones de agente. Una característica destacada es su doble funcionalidad: "Cada modelo puede responder directamente (LLM estándar) o autorreflexión antes de responder (como los modelos de razonamiento)". Esto refleja las capacidades vistas en modelos como Claude 3.5. Sin embargo, Deep Cogito menciona que no se han centrado en cadenas de razonamiento muy largas, priorizando respuestas más rápidas y la eficiencia de destilar cadenas más cortas.

La compañía ha compartido extensos resultados de referencia, comparando sus modelos Cogito con modelos abiertos de última generación equivalentes a tamaño en modos directos y de razonamiento. En una gama de puntos de referencia como MMLU, MMLU-Pro, ARC, GSM8K y Matemáticas, y en diferentes tamaños de modelo (3B, 8B, 14B, 32B, 70B), los modelos Cogito generalmente muestran mejoras significativas de rendimiento. Por ejemplo, el modelo Cogito 70B obtiene un 91.73% en MMLU en modo estándar, una mejora de +6.40% sobre LLAMA 3.3 70B y 91.00% en modo de pensamiento, A +4.40% aumenta sobre Deepseek R1 Distill 70B. Los puntajes de LiveBench también reflejan estas ganancias.

Aquí hay puntos de referencia de modelos 14B para una comparación de tamaño mediano:

Si bien Deep Cogito reconoce que los puntos de referencia no capturan completamente la utilidad del mundo real, siguen siendo seguros en el rendimiento práctico de sus modelos. Este lanzamiento se considera una vista previa, y la compañía afirma que "todavía están en las primeras etapas de esta curva de escala". Planean lanzar puntos de control mejorados para los tamaños actuales e introducir modelos MOE más grandes (109B, 400B, 671B) en las próximas semanas y meses. Todos los modelos futuros también serán de código abierto.