Le nouveau LLAMA-3.1 Nemotron Ultra de Nvidia surpasse Deepseek R1 à la moitié de la taille

Alors que Meta se grappe avec l'examen minutieux entourant sa dernière famille de modèles LLAMA 4, NVIDIA a discrètement déployé un nouveau modèle de langue grande entièrement open source (LLM) basé sur le modèle de Meta LLAMA-3.1-405B-Istruct. Nommé LLAMA-3.1-Nemotron-Ultra-253b-V1, ce modèle possède 253 milliards de paramètres et est conçu pour exceller dans le raisonnement avancé, l'instruction suivante et les flux de travail assistant AI. NVIDIA a d'abord fait allusion à ce modèle lors de sa conférence annuelle sur la technologie GPU (GTC) en mars.

Le communiqué souligne l'engagement continu de NVIDIA à améliorer les performances grâce à l'innovation architecturale et à des processus de post-formation méticuleux. Annoncées le 7 avril 2025, le code, les poids et les données post-entraînement du modèle sont désormais librement accessibles sur la face des étreintes. Il est conçu pour basculer de manière transparente entre les tâches de raisonnement complexes et les sorties plus simples en fonction des invites du système, offrant aux développeurs la flexibilité dans leurs applications.

Conçu pour une inférence efficace

S'appuyant sur les efforts antérieurs de NVIDIA dans l'optimisation des LLM pour l'inférence, le LLAMA-3.1-Nemotron-Ultra-253B intègre un processus de recherche d'architecture neurale (NAS) pour affiner son architecture. Cela comprend des fonctionnalités innovantes telles que les couches d'attention sautées, les réseaux à fond fusionnés (FFN) et les ratios de compression FFN variables. Ces modifications réduisent l'utilisation de la mémoire et les exigences de calcul du modèle, ce qui le rend déployable sur un seul nœud GPU 8x H100 sans compromettre la qualité de sortie.

NVIDIA affirme que ce modèle offre des performances robustes tout en étant rentables pour les déploiements de centres de données. Il est compatible avec les microarchitectures B100 et Hopper de NVIDIA, et a été testé dans les modes de précision BF16 et FP8.

Post-formation pour le raisonnement et l'alignement

Le modèle a subi un régime complet après la formation. Cela comprenait un réglage fin supervisé dans divers domaines tels que les mathématiques, la génération de code, le chat et l'utilisation des outils, suivi de l'apprentissage du renforcement avec l'optimisation des politiques relatives du groupe (GRPO) pour améliorer ses capacités de suivi des instructions et de raisonnement.

Un raffinement supplémentaire est passé par une phase de distillation de connaissances de plus de 65 milliards de jetons et de pré-formation continue sur 88 milliards de jetons supplémentaires. Les sources de données de formation comprenaient Fineweb, Buzz-V1.2 et Dolma, avec des invites et des réponses post-entraînement tirées à la fois des corpus publics et des méthodes de génération synthétique. Cette approche a aidé le modèle à différencier ses modes de raisonnement.

Amélioration des performances dans de nombreux domaines et références

Lorsqu'il est activé pour le raisonnement, le modèle a montré des améliorations significatives sur diverses repères. Par exemple, sur la référence MATH500, ses performances sont passées de 80,40% en mode standard à 97,00% avec le raisonnement activé. De même, les scores AIME25 sont passés de 16,67% à 72,50%, et les résultats livecodebench ont plus que doublé, de 29,03% à 66,31%.

Le modèle a également excellé dans les tâches basées sur des outils et la réponse générale aux questions (GPQA), marquant 76,01% en mode de raisonnement contre 56,60% sans. Ces repères ont été effectués avec une longueur de séquence maximale de 32 000 jetons, et chaque test a été répété jusqu'à 16 fois pour précision.

Par rapport au modèle MOE de pointe Deepseek R1, qui a 671 milliards de paramètres, le modèle de Nvidia est propre malgré moins de paramètres. Il surpasse Deepseek R1 dans des tâches comme GPQA (76.01 vs 71,5), l'instruction ifeval suivant (89,45 contre 83.3) et les tâches codantes LivecodeBench (66.31 vs 65,9). Cependant, Deepseek R1 se termine légèrement dans certaines évaluations mathématiques, en particulier AIME25 (79,8 contre 72,50) et Math500 (97,3 vs 97,00).

Ces résultats indiquent que le modèle dense de Nvidia peut correspondre ou dépasser les modèles MOE dans le raisonnement et l'alignement général des instructions, bien qu'il soit légèrement en retard dans les catégories à forte intensité de mathématiques.

Utilisation et intégration

Le modèle s'intègre de manière transparente à la bibliothèque de transformateurs Face Hugging Face (version 4.48.3 recommandée) et prend en charge des séquences jusqu'à 128 000 jetons. Les développeurs peuvent basculer le comportement du raisonnement à l'aide d'invites système et choisir des stratégies de décodage en fonction des besoins de tâche. Pour les tâches de raisonnement, NVIDIA suggère d'utiliser l'échantillonnage de la température (0,6) avec une valeur TOP-P de 0,95, tandis que le décodage gourmand est recommandé pour les sorties déterministes.

Lama-3.1-Nemotron-Ultra-253b prend en charge des applications multilingues, y compris l'anglais, l'allemand, le français, l'italien, le portugais, l'hindi, l'espagnol et le thaï. Il est bien adapté pour divers cas d'utilisation LLM tels que le développement de Chatbot, les flux de travail des agents AI, la génération (RAG) (RAG) et la génération de code.

Autorisé à usage commercial

Sortie sous la licence du modèle Open NVIDIA et régie par l'accord de licence communautaire LLAMA 3.1, le modèle est prêt pour les applications commerciales. NVIDIA souligne l'importance du développement responsable de l'IA, exhortant les équipes à évaluer l'alignement, la sécurité et le biais du modèle pour leurs cas d'utilisation spécifiques.

Oleksii Kuchaiev, directeur du modèle d'IA de Nvidia après la formation, a partagé l'excitation à propos de cette version ouverte sur X, mettant en évidence sa conception dense 253b avec des capacités de raisonnement bordées et l'inclusion de poids ouverts et de données.