Meta revela o lhama 4 com modelos de escoteiros e maverick de longa data, 2T parâmetros gigantes em breve!

Em janeiro de 2025, o mundo da IA foi abalado quando uma startup chinesa de IA relativamente desconhecida, DeepSeek, lançou um desafio com seu inovador modelo de raciocínio linguístico de código aberto, DeepSeek R1. Este modelo não apenas superou empresas como a Meta, mas o fez por uma fração do custo — rumores apontam para apenas alguns milhões de dólares. Esse é o tipo de orçamento que a Meta poderia gastar em apenas alguns de seus líderes de equipe de IA! Essa notícia colocou a Meta em um certo frenesi, especialmente porque seu último modelo Llama, versão 3.3, lançado apenas um mês antes, já parecia um pouco ultrapassado.

Avançando para hoje, o fundador e CEO da Meta, Mark Zuckerberg, foi ao Instagram para anunciar o lançamento da nova série Llama 4. Esta série inclui o Llama 4 Maverick, com 400 bilhões de parâmetros, e o Llama 4 Scout, com 109 bilhões de parâmetros, ambos disponíveis para desenvolvedores baixarem e começarem a experimentar imediatamente em llama.com e Hugging Face. Há também uma prévia de um modelo colossal de 2 trilhões de parâmetros, o Llama 4 Behemoth, ainda em treinamento, sem data de lançamento à vista.

Capacidades Multimodais e de Contexto Longo

Uma das características de destaque desses novos modelos é sua natureza multimodal. Eles não se limitam a texto; também podem lidar com vídeo e imagens. E vêm com janelas de contexto incrivelmente longas — 1 milhão de tokens para o Maverick e impressionantes 10 milhões para o Scout. Para colocar em perspectiva, isso é como lidar com até 1.500 e 15.000 páginas de texto de uma só vez! Imagine as possibilidades para áreas como medicina, ciência ou literatura, onde é necessário processar e gerar grandes quantidades de informação.

Arquitetura de Mistura de Especialistas

Todos os três modelos Llama 4 utilizam a arquitetura de "mistura de especialistas (MoE)", uma técnica que tem causado impacto, popularizada por empresas como OpenAI e Mistral. Essa abordagem combina vários modelos menores e especializados em um modelo maior e mais eficiente. Cada modelo Llama 4 é uma combinação de 128 especialistas diferentes, o que significa que apenas o especialista necessário e um compartilhado lidam com cada token, tornando os modelos mais econômicos e rápidos de executar. A Meta afirma que o Llama 4 Maverick pode ser executado em um único host Nvidia H100 DGX, facilitando a implantação.

Econômico e Acessível

A Meta está focada em tornar esses modelos acessíveis. Tanto o Scout quanto o Maverick estão disponíveis para hospedagem própria, e eles até compartilharam algumas estimativas de custo atraentes. Por exemplo, o custo de inferência para o Llama 4 Maverick está entre $0,19 e $0,49 por milhão de tokens, o que é uma pechincha comparado a outros modelos proprietários como o GPT-4o. E se você estiver interessado em usar esses modelos por meio de um provedor de nuvem, a Groq já se apresentou com preços competitivos.

Raciocínio Aprimorado e MetaP

Esses modelos foram construídos com raciocínio, codificação e resolução de problemas em mente. A Meta usou algumas técnicas inteligentes durante o treinamento para aumentar essas capacidades, como remover prompts fáceis e usar aprendizado por reforço contínuo com prompts cada vez mais difíceis. Eles também introduziram o MetaP, uma nova técnica que permite definir hiperparâmetros em um modelo e aplicá-los a outros, economizando tempo e dinheiro. É uma mudança de jogo, especialmente para treinar monstros como o Behemoth, que usa 32 mil GPUs e processa mais de 30 trilhões de tokens.

Desempenho e Comparações

Então, como esses modelos se saem? Zuckerberg foi claro sobre sua visão de que a IA de código aberto liderará o caminho, e o Llama 4 é um grande passo nessa direção. Embora eles não estabeleçam novos recordes de desempenho em todas as áreas, estão certamente entre os melhores de sua classe. Por exemplo, o Llama 4 Behemoth supera alguns gigantes em certos benchmarks, embora ainda esteja tentando alcançar o DeepSeek R1 e a série o1 da OpenAI em outros.

Llama 4 Behemoth

• Supera GPT-4.5, Gemini 2.0 Pro e Claude Sonnet 3.7 em MATH-500 (95,0), GPQA Diamond (73,7) e MMLU Pro (82,2)

Llama 4 Maverick

• Supera GPT-4o e Gemini 2.0 Flash na maioria dos benchmarks de raciocínio multimodal, como ChartQA, DocVQA, MathVista e MMMU
• Competitivo com DeepSeek v3.1 enquanto usa menos da metade dos parâmetros ativos
• Pontuações de benchmark: ChartQA (90,0), DocVQA (94,4), MMLU Pro (80,5)

Llama 4 Scout

• Iguala ou supera modelos como Mistral 3.1, Gemini 2.0 Flash-Lite e Gemma 3 em DocVQA (94,4), MMLU Pro (74,3) e MathVista (70,7)
• Comprimento de contexto incomparável de 10 milhões de tokens — ideal para documentos longos e bases de código

Comparando com DeepSeek R1

Quando se trata das grandes ligas, o Llama 4 Behemoth se mantém firme, mas não desbanca completamente o DeepSeek R1 ou a série o1 da OpenAI. Está ligeiramente atrás em MATH-500 e MMLU, mas à frente em GPQA Diamond. Ainda assim, está claro que o Llama 4 é um forte concorrente no espaço de raciocínio.

Segurança e Neutralidade Política

A Meta também não esqueceu da segurança. Eles introduziram ferramentas como Llama Guard, Prompt Guard e CyberSecEval para manter tudo em ordem. E estão destacando a redução de vieses políticos, buscando uma abordagem mais equilibrada, especialmente após o apoio notado de Zuckerberg à política republicana após a eleição de 2024.

O Futuro com Llama 4

Com o Llama 4, a Meta está expandindo os limites da eficiência, abertura e desempenho em IA. Seja para construir assistentes de IA de nível empresarial ou mergulhar fundo na pesquisa de IA, o Llama 4 oferece opções poderosas e flexíveis que priorizam o raciocínio. Está claro que a Meta está comprometida em tornar a IA mais acessível e impactante para todos.