Meta dévoile Llama 4 avec des modèles Scout et Maverick à long contexte, le géant du paramètre 2T à venir bientôt!

En janvier 2025, le monde de l'IA a été secoué lorsqu'une startup de l'IA chinoise relativement inconnue, Deepseek, a jeté le gant avec son modèle de raisonnement en langue open source révolutionnaire, Deepseek R1. Ce modèle a non seulement surpassé les gens comme Meta, mais l'a fait à une fraction du coût - dont il a été aussi peu que quelques millions de dollars. C'est le genre de budget que la méta pourrait dépenser pour quelques-uns de ses chefs d'équipe AI! Cette nouvelle a envoyé Meta dans une frénésie, d'autant plus que leur dernier modèle de lama, la version 3.3, publié le mois précédent, était déjà un peu daté.

Avance rapide jusqu'à aujourd'hui, et le fondateur et PDG de Meta, Mark Zuckerberg, s'est rendu sur Instagram pour annoncer le lancement de la nouvelle série Llama 4. Cette série comprend le Maverick de 400 milliards de paramètres Llama 4 et le Scout de 109 milliards de paramètres Llama 4, tous deux disponibles pour les développeurs pour télécharger et commencer à bricoler tout de suite sur llama.com et étreindre le visage. Il y a aussi un aperçu d'un modèle de paramètres colossal de 2 milliards, le géant de Llama 4, toujours en formation, sans date de sortie en vue.

Capacités multimodales et à long contexte

L'une des caractéristiques remarquables de ces nouveaux modèles est leur nature multimodale. Ils ne sont pas seulement sur le texte; Ils peuvent également gérer la vidéo et l'imagerie. Et ils viennent avec des fenêtres de contexte incroyablement longues - 1 million de jetons pour Maverick et 10 millions pour Scout. Pour mettre cela en perspective, c'est comme gérer jusqu'à 1 500 et 15 000 pages de texte en une seule fois! Imaginez les possibilités de domaines comme la médecine, la science ou la littérature où vous devez traiter et générer de grandes quantités d'informations.

Architecture du mélange

Les trois modèles LLAMA 4 utilisent l'architecture "Mixture-of-Experts (MOE)", une technique qui fait des vagues, popularisée par des sociétés comme Openai et Mistral. Cette approche combine plusieurs modèles spécialisés plus petits dans un modèle plus grand et plus efficace. Chaque modèle LLAMA 4 est un mélange de 128 experts différents, ce qui signifie uniquement l'expert nécessaire et une poignée partagée chaque jeton, ce qui rend les modèles plus rentables et plus rapides à exécuter. Meta se vante que Llama 4 Maverick peut être exécuté sur un seul hôte NVIDIA H100 DGX, faisant du déploiement un jeu d'enfant.

Rentable et accessible

Meta consiste à rendre ces modèles accessibles. Scout et Maverick sont disponibles pour l'auto-hébergement, et ils ont même partagé certaines estimations des coûts attrayants. Par exemple, le coût d'inférence pour Llama 4 Maverick se situe entre 0,19 $ et 0,49 $ par million de jetons, ce qui est un vol par rapport à d'autres modèles propriétaires comme GPT-4O. Et si vous souhaitez utiliser ces modèles via un fournisseur de cloud, Groq a déjà intensifié des prix compétitifs.

Raisonnement amélioré et METAP

Ces modèles sont construits avec le raisonnement, le codage et la résolution de problèmes à l'esprit. Meta a utilisé certaines techniques intelligentes pendant la formation pour augmenter ces capacités, comme éliminer les invites faciles et utiliser l'apprentissage en renforcement continu avec des invites de plus en plus difficiles. Ils ont également introduit Metap, une nouvelle technique qui permet de créer des hyperparamètres sur un modèle et de les appliquer à d'autres, ce qui permet d'économiser du temps et de l'argent. Il change la donne, en particulier pour l'entraînement de monstres comme Behemoth, qui utilise 32k GPU et processus plus de 30 billions de jetons.

Performance et comparaisons

Alors, comment ces modèles s'accumulent-ils? Zuckerberg a été clair sur sa vision de l'IA open source menant la charge, et Llama 4 est un grand pas dans cette direction. Bien qu'ils puissent ne pas définir de nouveaux records de performances à tous les niveaux, ils sont certainement près du sommet de leur classe. Par exemple, le géant de Llama 4 surpasse certains frappeurs lourds sur certaines références, bien qu'il joue toujours un rattrapage avec Deepseek R1 et la série O1 d'Openai dans d'autres.

Llama 4 Behemoth

• Outperforms GPT-4.5, Gemini 2.0 Pro et Claude Sonnet 3.7 sur Math-500 (95,0), GPQA Diamond (73,7) et MMLU Pro (82,2)

Llama 4 Maverick

• Beats GPT-4O et Gemini 2.0 Flash sur la plupart des références multimodales comme Chartqa, Docvqa, Mathvista et MMMU
• Compétitif avec Deepseek v3.1 tout en utilisant moins de la moitié des paramètres actifs
• Scores de référence: ChartQA (90,0), DOCVQA (94,4), MMLU Pro (80,5)

Llama 4 Scout

• Correspond ou surpasse les modèles comme Mistral 3.1, Gemini 2.0 Flash-Lite et Gemma 3 sur Docvqa (94.4), MMLU Pro (74.3) et Mathvista (70.7)
• Longueur de contexte de jeton de 10 m non correspondant - Idéal pour les longs documents et bases de code

Comparaison avec Deepseek R1

En ce qui concerne les grandes ligues, le géant de Llama 4 tient le coup mais ne détronne pas la série R1 Deepseek ou Openai. Il est légèrement en retard sur Math-500 et MMLU mais en avance sur GPQA Diamond. Pourtant, il est clair que Llama 4 est un concurrent fort dans l'espace de raisonnement.

Sécurité et neutralité politique

Meta n'a pas non plus oublié la sécurité. Ils ont introduit des outils comme Llama Guard, Prompt Guard et Cyberseceval pour garder les choses en haut et en haut. Et ils font un point sur la réduction des préjugés politiques, visant une approche plus équilibrée, en particulier après le soutien noté de Zuckerberg à l'élection de la politique républicaine après 2024.

L'avenir avec Llama 4

Avec Llama 4, Meta repousse les limites de l'efficacité, de l'ouverture et des performances dans l'IA. Que vous cherchiez à construire des assistants d'IA au niveau de l'entreprise ou que vous plongez profondément dans la recherche sur l'IA, Llama 4 offre des options puissantes et flexibles qui priorisent le raisonnement. Il est clair que Meta s'engage à rendre l'IA plus accessible et plus percutante pour tout le monde.