Meta -se ve a la Llama 4 con un largo contexto Scout y Maverick Models, 2t Parameter Behemoth próximamente!

En enero de 2025, el mundo de la IA se vio sacudido cuando una startup china de IA relativamente desconocida, DeepSeek, lanzó un desafío con su modelo de razonamiento de lenguaje de código abierto innovador, DeepSeek R1. Este modelo no solo superó a gigantes como Meta, sino que lo hizo con una fracción del costo, se rumorea que con solo unos pocos millones de dólares. ¡Ese es el tipo de presupuesto que Meta podría gastar en solo un par de sus líderes de equipo de IA! Esta noticia puso a Meta en un frenesí, especialmente porque su último modelo Llama, versión 3.3, lanzado solo un mes antes, ya parecía algo obsoleto.

Avanzando hasta hoy, el fundador y CEO de Meta, Mark Zuckerberg, ha acudido a Instagram para anunciar el lanzamiento de la nueva serie Llama 4. Esta serie incluye el Llama 4 Maverick de 400 mil millones de parámetros y el Llama 4 Scout de 109 mil millones de parámetros, ambos disponibles para que los desarrolladores los descarguen y comiencen a experimentar de inmediato en llama.com y Hugging Face. También hay un adelanto de un modelo colosal de 2 billones de parámetros, Llama 4 Behemoth, aún en entrenamiento, sin fecha de lanzamiento a la vista.

Capacidades Multimodales y de Contexto Largo

Una de las características destacadas de estos nuevos modelos es su naturaleza multimodal. No se limitan al texto; también pueden manejar video e imágenes. Y vienen con ventanas de contexto increíblemente largas: 1 millón de tokens para Maverick y un asombroso 10 millones para Scout. Para ponerlo en perspectiva, ¡eso es como manejar hasta 1,500 y 15,000 páginas de texto de una vez! Imagina las posibilidades para campos como la medicina, la ciencia o la literatura, donde necesitas procesar y generar grandes cantidades de información.

Arquitectura de Mezcla de Expertos

Los tres modelos Llama 4 emplean la arquitectura de "mezcla de expertos (MoE)", una técnica que ha estado causando sensación, popularizada por empresas como OpenAI y Mistral. Este enfoque combina varios modelos más pequeños y especializados en un modelo más grande y eficiente. Cada modelo Llama 4 es una mezcla de 128 expertos diferentes, lo que significa que solo el experto necesario y uno compartido manejan cada token, haciendo que los modelos sean más rentables y rápidos de ejecutar. Meta presume que Llama 4 Maverick puede ejecutarse en un solo host Nvidia H100 DGX, lo que facilita su implementación.

Rentable y Accesible

Meta se enfoca en hacer estos modelos accesibles. Tanto Scout como Maverick están disponibles para autoalojamiento, e incluso han compartido algunas estimaciones de costos atractivas. Por ejemplo, el costo de inferencia para Llama 4 Maverick está entre $0.19 y $0.49 por millón de tokens, lo cual es una ganga en comparación con otros modelos propietarios como GPT-4o. Y si estás interesado en usar estos modelos a través de un proveedor de nube, Groq ya ha ofrecido precios competitivos.

Razonamiento Mejorado y MetaP

Estos modelos están diseñados con el razonamiento, la codificación y la resolución de problemas en mente. Meta ha utilizado algunas técnicas ingeniosas durante el entrenamiento para potenciar estas capacidades, como eliminar prompts fáciles y usar aprendizaje por refuerzo continuo con prompts cada vez más difíciles. También han presentado MetaP, una nueva técnica que permite establecer hiperparámetros en un modelo y aplicarlos a otros, ahorrando tiempo y dinero. Es un cambio radical, especialmente para entrenar monstruos como Behemoth, que utiliza 32K GPUs y procesa más de 30 billones de tokens.

Rendimiento y Comparaciones

Entonces, ¿cómo se comparan estos modelos? Zuckerberg ha sido claro sobre su visión de que la IA de código abierto lidere el camino, y Llama 4 es un gran paso en esa dirección. Aunque no establecen nuevos récords de rendimiento en todos los ámbitos, ciertamente están cerca de la cima de su clase. Por ejemplo, Llama 4 Behemoth supera a algunos pesos pesados en ciertos puntos de referencia, aunque aún está intentando alcanzar a DeepSeek R1 y la serie o1 de OpenAI en otros.

Llama 4 Behemoth

• Supera a GPT-4.5, Gemini 2.0 Pro y Claude Sonnet 3.7 en MATH-500 (95.0), GPQA Diamond (73.7) y MMLU Pro (82.2)

Llama 4 Maverick

• Supera a GPT-4o y Gemini 2.0 Flash en la mayoría de los puntos de referencia de razonamiento multimodal como ChartQA, DocVQA, MathVista y MMMU
• Competitivo con DeepSeek v3.1 mientras usa menos de la mitad de los parámetros activos
• Puntuaciones de referencia: ChartQA (90.0), DocVQA (94.4), MMLU Pro (80.5)

Llama 4 Scout

• Iguala o supera a modelos como Mistral 3.1, Gemini 2.0 Flash-Lite y Gemma 3 en DocVQA (94.4), MMLU Pro (74.3) y MathVista (70.7)
• Longitud de contexto de 10M de tokens sin igual, ideal para documentos largos y bases de código

Comparación con DeepSeek R1

Cuando se trata de las grandes ligas, Llama 4 Behemoth se mantiene firme pero no llega a destronar a DeepSeek R1 ni a la serie o1 de OpenAI. Está ligeramente por detrás en MATH-500 y MMLU, pero adelante en GPQA Diamond. Aun así, está claro que Llama 4 es un contendiente fuerte en el espacio del razonamiento.

Seguridad y Neutralidad Política

Meta tampoco ha olvidado la seguridad. Han introducido herramientas como Llama Guard, Prompt Guard y CyberSecEval para mantener todo en orden. Y están haciendo un esfuerzo por reducir el sesgo político, buscando un enfoque más equilibrado, especialmente después del apoyo señalado de Zuckerberg a la política republicana tras las elecciones de 2024.

El Futuro con Llama 4

Con Llama 4, Meta está ampliando los límites de la eficiencia, la apertura y el rendimiento en la IA. Ya sea que busques construir asistentes de IA de nivel empresarial o sumergirte profundamente en la investigación de IA, Llama 4 ofrece opciones poderosas y flexibles que priorizan el razonamiento. Está claro que Meta está comprometido a hacer que la IA sea más accesible e impactante para todos.