Meta dévoile Llama 4 avec des modèles Scout et Maverick à long contexte, le géant du paramètre 2T à venir bientôt!

En janvier 2025, le monde de l'IA a été secoué lorsque DeepSeek, une startup chinoise d'IA relativement inconnue, a lancé un défi avec son modèle de raisonnement linguistique open-source révolutionnaire, DeepSeek R1. Ce modèle a non seulement surpassé des géants comme Meta, mais l'a fait à une fraction du coût — on parle de quelques millions de dollars seulement. C'est le genre de budget que Meta pourrait dépenser pour seulement quelques chefs d'équipe IA ! Cette nouvelle a mis Meta dans une certaine frénésie, d'autant plus que leur dernier modèle Llama, version 3.3, sorti juste le mois précédent, semblait déjà un peu dépassé.

Aujourd'hui, le fondateur et PDG de Meta, Mark Zuckerberg, a pris la parole sur Instagram pour annoncer le lancement de la nouvelle série Llama 4. Cette série comprend le Llama 4 Maverick avec 400 milliards de paramètres et le Llama 4 Scout avec 109 milliards de paramètres, tous deux disponibles pour les développeurs à télécharger et à expérimenter immédiatement sur llama.com et Hugging Face. Il y a aussi un aperçu d'un modèle colossal de 2 trillions de paramètres, Llama 4 Behemoth, encore en entraînement, sans date de sortie prévue.

Capacités multimodales et contextes longs

L'une des caractéristiques remarquables de ces nouveaux modèles est leur nature multimodale. Ils ne se limitent pas au texte ; ils peuvent également gérer la vidéo et les images. Et ils disposent de fenêtres de contexte incroyablement longues — 1 million de jetons pour Maverick et pas moins de 10 millions pour Scout. Pour mettre cela en perspective, cela équivaut à traiter jusqu'à 1 500 et 15 000 pages de texte d'un coup ! Imaginez les possibilités pour des domaines comme la médecine, la science ou la littérature où il faut traiter et générer d'énormes quantités d'informations.

Architecture de mélange d'experts

Les trois modèles Llama 4 utilisent l'architecture de "mélange d'experts (MoE)", une technique qui fait des vagues, popularisée par des entreprises comme OpenAI et Mistral. Cette approche combine plusieurs modèles plus petits et spécialisés en un seul modèle plus grand et plus efficace. Chaque modèle Llama 4 est un mélange de 128 experts différents, ce qui signifie que seul l'expert nécessaire et un partagé gèrent chaque jeton, rendant les modèles plus économiques et plus rapides à exécuter. Meta se vante que Llama 4 Maverick peut être exécuté sur un seul hôte Nvidia H100 DGX, facilitant ainsi le déploiement.

Économique et accessible

Meta mise tout sur l'accessibilité de ces modèles. Scout et Maverick sont disponibles pour l'auto-hébergement, et ils ont même partagé des estimations de coûts alléchantes. Par exemple, le coût d'inférence pour Llama 4 Maverick se situe entre 0,19 $ et 0,49 $ par million de jetons, ce qui est une aubaine par rapport à d'autres modèles propriétaires comme GPT-4o. Et si vous souhaitez utiliser ces modèles via un fournisseur de cloud, Groq a déjà proposé des prix compétitifs.

Raisonnement amélioré et MetaP

Ces modèles sont conçus pour le raisonnement, le codage et la résolution de problèmes. Meta a utilisé des techniques astucieuses pendant l'entraînement pour renforcer ces capacités, comme supprimer les invites faciles et utiliser un apprentissage par renforcement continu avec des invites de plus en plus difficiles. Ils ont également introduit MetaP, une nouvelle technique qui permet de définir des hyperparamètres sur un modèle et de les appliquer à d'autres, économisant ainsi du temps et de l'argent. C'est un changement majeur, surtout pour entraîner des monstres comme Behemoth, qui utilise 32 000 GPU et traite plus de 30 trillions de jetons.

Performance et comparaisons

Alors, comment ces modèles se comparent-ils ? Zuckerberg a été clair sur sa vision de l'IA open-source en tête de file, et Llama 4 est un grand pas dans cette direction. Bien qu'ils ne battent pas de nouveaux records de performance à tous les niveaux, ils sont certainement parmi les meilleurs de leur catégorie. Par exemple, Llama 4 Behemoth surpasse certains poids lourds sur certains benchmarks, bien qu'il soit encore à la traîne derrière DeepSeek R1 et la série o1 d'OpenAI dans d'autres.

Llama 4 Behemoth

• Surpasse GPT-4.5, Gemini 2.0 Pro et Claude Sonnet 3.7 sur MATH-500 (95,0), GPQA Diamond (73,7) et MMLU Pro (82,2)

Llama 4 Maverick

• Dépasse GPT-4o et Gemini 2.0 Flash sur la plupart des benchmarks de raisonnement multimodal comme ChartQA, DocVQA, MathVista et MMMU
• Compétitif avec DeepSeek v3.1 tout en utilisant moins de la moitié des paramètres actifs
• Scores de benchmark : ChartQA (90,0), DocVQA (94,4), MMLU Pro (80,5)

Llama 4 Scout

• Égale ou surpasse des modèles comme Mistral 3.1, Gemini 2.0 Flash-Lite et Gemma 3 sur DocVQA (94,4), MMLU Pro (74,3) et MathVista (70,7)
• Longueur de contexte inégalée de 10 millions de jetons — idéale pour les longs documents et les bases de code

Comparaison avec DeepSeek R1

Dans les grandes ligues, Llama 4 Behemoth tient bon mais ne détrône pas tout à fait DeepSeek R1 ou la série o1 d'OpenAI. Il est légèrement en retard sur MATH-500 et MMLU mais en avance sur GPQA Diamond. Pourtant, il est clair que Llama 4 est un concurrent sérieux dans le domaine du raisonnement.

Sécurité et neutralité politique

Meta n'a pas non plus oublié la sécurité. Ils ont introduit des outils comme Llama Guard, Prompt Guard et CyberSecEval pour maintenir les choses dans les normes. Et ils insistent sur la réduction des biais politiques, visant une approche plus équilibrée, surtout après le soutien noté de Zuckerberg pour la politique républicaine après l'élection de 2024.

L'avenir avec Llama 4

Avec Llama 4, Meta repousse les limites de l'efficacité, de l'ouverture et de la performance en IA. Que vous cherchiez à construire des assistants IA de niveau entreprise ou à plonger dans la recherche en IA, Llama 4 offre des options puissantes et flexibles qui privilégient le raisonnement. Il est clair que Meta s'engage à rendre l'IA plus accessible et impactante pour tous.