Deep Cogito lanza sus primeros modelos de IA de código abierto y ya están entre los mejores

Deep Cogito Lanza Modelos de IA Revolucionarios

En un movimiento trascendental, Deep Cogito, una prometedora startup de investigación en IA con sede en San Francisco, ha presentado oficialmente su primera línea de modelos de lenguaje grandes (LLMs) de código abierto, denominados Cogito v1. Estos modelos, afinados a partir de Llama 3.2 de Meta, destacan por sus capacidades híbridas de razonamiento que les permiten responder rápidamente o involucrarse en reflexiones introspectivas, una característica similar a la serie “o” de OpenAI y DeepSeek R1.

Deep Cogito tiene como visión empujar la IA más allá de las restricciones tradicionales de supervisión humana, fomentando mejoras iterativas autónomas dentro de sus modelos. Su objetivo final es desarrollar superinteligencia—IA que supere las capacidades humanas en todos los campos. Sin embargo, la empresa asegura que todos los modelos permanecerán abiertos al público.

Drishan Arora, director ejecutivo y cofundador de Deep Cogito, anteriormente desempeñó como Ingeniero de Software Senior en Google, liderando el desarrollo de LLMs para el producto de búsqueda generativa de Google. Confiadamente declaró en X que estos modelos son entre los más fuertes y abiertos en su escala, superando a competidores como LLaMA, DeepSeek y Qwen.

La Línea de Modelos

El lanzamiento inicial incluye cinco tamaños base—3 mil millones, 8 mil millones, 14 mil millones, 32 mil millones y 70 mil millones de parámetros—y ya está disponible en plataformas como Hugging Face, Ollama y APIs a través de Fireworks y Together AI. Estos modelos operan bajo los términos de licencia de Llama, permitiendo su uso comercial para hasta 700 millones de usuarios mensuales antes de requerir una licencia pagada de Meta.

Deep Cogito planea lanzar modelos aún más grandes, potencialmente alcanzando 671 mil millones de parámetros, en el futuro cercano.

Enfoque de Entrenamiento: Iterated Distillation and Amplification (IDA)

Arora introdujo IDA, un método innovador distinto de los métodos de aprendizaje por refuerzo tradicionales desde retroalimentación humana (RLHF) o distilación de modelos maestros. IDA se centra en asignar recursos computacionales adicionales para generar soluciones superiores, posteriormente incorporando este razonamiento mejorado en el modelo mismo—un bucle continuo de retroalimentación diseñado para aumentar las capacidades. Este enfoque se asemeja a la estrategia de autojuego de Google AlphaGo adaptada para el procesamiento del lenguaje natural.

Medidas y Evaluaciones

Deep Cogito presentó resultados exhaustivos de evaluación comparando los modelos Cogito con contrapartes de código abierto en áreas como conocimiento general, razonamiento matemático y tareas multilingües. Los hallazgos clave incluyen:

• Cogito 3B (Estándar): Superó a LLaMA 3.2 3B en MMLU por 6.7 puntos porcentuales (65.4% frente a 58.7%) y en Hellaswag por 18.8 puntos (81.1% frente a 62.3%).
• Cogito 3B (Modo Razonamiento): Marcó 72.6% en MMLU y 84.2% en ARC.
• Cogito 8B (Estándar): Logró 80.5% en MMLU, superando a LLaMA 3.1 8B por 12.8 puntos.
• Cogito 8B (Modo Razonamiento): Marcó 83.1% en MMLU y 92.0% en ARC.
• Cogito 70B (Estándar): Encabezó a LLaMA 3.3 70B en MMLU por 6.4 puntos (91.7% frente a 85.3%) y superó a LLaMA 4 Scout 109B en evaluaciones agregadas (54.5% frente a 53.3%).

Si bien los modelos Cogito sobresalen en el modo de razonamiento, existen ciertos compromisos, especialmente en tareas matemáticas.

Llamadas a Herramientas Nativas

Deep Cogito también evaluó el rendimiento de llamadas a herramientas nativas de sus modelos, un aspecto crucial para sistemas integrados con agentes y APIs.

• Cogito 3B: Soporta cuatro tipos de tareas de llamada a herramientas y destaca en llamadas simples y múltiples a herramientas.
• Cogito 8B: Demuestra un fuerte rendimiento en todos los tipos de llamadas a herramientas, superando significativamente a LLaMA 3.1 8B.

Planes Futuros

Mirando hacia el futuro, Deep Cogito planea introducir modelos más grandes, incluidas variantes mixture-of-experts de 109 mil millones, 400 mil millones y 671 mil millones de parámetros, junto con actualizaciones continuas a los checkpoints existentes. La empresa considera que IDA es un camino sostenible hacia una mejora autónoma escalable, reduciendo la dependencia de modelos maestros humanos o estáticos.

Arora destacó que la utilidad real y la adaptabilidad son las medidas finales del éxito, enfatizando que esta es apenas el comienzo de un emocionante viaje. Deep Cogito colabora con entidades reconocidas como Hugging Face, RunPod, Fireworks AI, Together AI y Ollama, asegurando que todos los modelos permanezcan abiertos y accesibles gratuitamente.