Nvidias neuer Lama-3.1-Nemotron-Ultra übertrifft Deepseek R1 mit einer Hälfte der Größe

Während sich Meta mit der Prüfung der neuesten LLAMA 4-Modellfamilie untersucht, hat NVIDIA ein neues, vollständig Open-Source-großes Sprachmodell (LLM) auf der Grundlage des früheren LLAMA-3.1-405B-Instruction-Modells von Meta ausgelöst. Dieses Modell wurde Lama-3.1-Nemotron-Ultra-253B-V1 genannt. Dieses Modell verfügt über 253 Milliarden Parameter und ist so konstruiert, dass sie in fortgeschrittenen Argumentation, Anweisungen und Assistent-Workflows hervorragend ist. NVIDIA deutete erstmals während ihrer jährlichen GPU Technology Conference (GTC) im März auf dieses Modell hin.

Die Veröffentlichung unterstreicht das anhaltende Engagement von NVIDIA zur Verbesserung der Leistung durch architektonische Innovation und akribische Nach-Trainingsprozesse. Am 7. April 2025 sind der Code, die Gewichte und die Daten des Modells nach dem Training jetzt auf dem Umarmungsgesicht frei zugänglich. Es wurde so konzipiert, dass es an der Grundlage von Systemanforderungen nahtlos zwischen komplexen Argumentationsaufgaben und einfacheren Ausgaben wechselt und Entwicklern Flexibilität in ihren Anwendungen bietet.

Für eine effiziente Schlussfolgerung entwickelt

Aufbauend auf den früheren Bemühungen von Nvidia, LLMs für Inferenz zu optimieren, beinhaltet der Lama-3,1-Nemotron-Ultra-253b einen NAS-Prozess (Neural Architecture Search), um seine Architektur zu verfeinern. Dies umfasst innovative Funktionen wie übersprungene Aufmerksamkeitsebenen, fusionierte Feedforward -Netzwerke (FFNs) und variable FFN -Komprimierungsverhältnisse. Diese Modifikationen reduzieren die Speicherverwendung und die Rechenanforderungen des Modells und machen es so eingesetzt, dass er auf einem einzelnen 8x H100 -GPU -Knoten eingesetzt werden kann, ohne die Ausgangsqualität zu beeinträchtigen.

NVIDIA behauptet, dieses Modell liefert eine robuste Leistung und sei für die Bereitstellung von Rechenzentren kostengünstig. Es ist kompatibel mit NVIDIAs B100- und Hopper -Mikroarchitekturen und wurde sowohl im BF16- als auch in FP8 -Präzisionsmodi getestet.

Nach dem Training für Argumentation und Ausrichtung

Das Modell wurde ein umfassendes Nachtraining-Regime unterzogen. Dies beinhaltete die Überwachung der Feinabstimmung in verschiedenen Domänen wie Mathematik, Codegenerierung, Chat und Tools, gefolgt von Verstärkungslernen mit Gruppenrelationsrichtlinienoptimierung (GRPO), um die Funktionen für Anweisungen und Argumentationen zu verbessern.

Eine weitere Verfeinerung ereignete sich durch eine Wissensdestillationsphase über 65 Milliarden Token und eine kontinuierliche Vorbereitung auf weitere 88 Milliarden Token. Zu den Trainingsdatenquellen gehörten Fineweb, Buzz-V1.2 und Dolma mit Eingabeaufforderungen und Antworten nach dem Training sowohl aus Methoden der öffentlichen Korpora als auch aus synthetischen Generationen. Dieser Ansatz half dem Modell, zwischen seinen Argumentationsmodi zu unterscheiden.

Verbesserte Leistung in zahlreichen Domänen und Benchmarks

Bei aktivierter Argumentation zeigte das Modell signifikante Verbesserungen an verschiedenen Benchmarks. Zum Beispiel stieg seine Leistung beim Math500 -Benchmark von 80,40% im Standardmodus auf 97,00%, wobei die Argumentation aktiviert ist. In ähnlicher Weise stiegen die AIME25 -Werte von 16,67% auf 72,50% und LivecodeBench -Ergebnisse verdoppelten sich mehr als verdoppelt von 29,03% auf 66,31%.

Das Modell war auch in Werkzeugaufgaben und allgemeine Fragenbeantwortung (GPQA) hervorragend und erzielte im Argumentationsmodus von 76,01% im Vergleich zu 56,60% ohne. Diese Benchmarks wurden mit einer maximalen Sequenzlänge von 32.000 Token durchgeführt, und jeder Test wurde bis zu 16 Mal für die Genauigkeit wiederholt.

Im Vergleich zum hochmodernen MOE-Modell Deepseek R1, das 671 Milliarden Parameter hat, hält das Modell von NVIDIA trotz weniger Parametern selbst. Es übertrifft Deepseek R1 in Aufgaben wie GPQA (76.01 gegenüber 71,5), IFEVAL -Anweisungen (89,45 vs. 83,3) und LiveCodebench -Codierungsaufgaben (66,31 vs. 65,9). In bestimmten mathematischen Bewertungen, insbesondere Aime25 (79,8 vs. 72,50) und Math500 (97,3 gegenüber 97,00), kündigt Deepseek R1 jedoch leicht aus.

Diese Ergebnisse zeigen, dass das dichte Modell von NVIDIA MOE-Modelle in der Argumentation und allgemeinen Anweisungsausrichtung übereinstimmen oder überschreiten kann, obwohl es in mathematischen Kategorien leicht zurückbleibt.

Nutzung und Integration

Das Modell integriert nahtlos in die Bibliothek der umarmenden Gesichtstransformatoren (Version 4.48.3 empfohlen) und unterstützt Sequenzen bis zu 128.000 Token. Entwickler können das Argumentationsverhalten mithilfe von Systemaufforderungen umschalten und Decodierungsstrategien basierend auf den Aufgabenanforderungen auswählen. Für Argumentation Aufgaben schlägt NVIDIA die Verwendung von Temperaturproben (0,6) mit einem Top-P-Wert von 0,95 vor, während die gierige Decodierung für deterministische Ausgänge empfohlen wird.

Lama-3.1-Nemotron-Ultra-253b unterstützt mehrsprachige Anwendungen, einschließlich Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch und Thai. Es ist gut geeignet für verschiedene LLM-Anwendungsfälle wie Chatbot Development, AI-Agenten-Workflows, Retrieval-Augmented-Generation (LAB) und Codegenerierung.

Lizenziert für den kommerziellen Gebrauch

Das Modell wird unter der NVIDIA Open Model Lizenz veröffentlicht und der Lama 3.1 -Community -Lizenzvereinbarung regiert. Das Modell ist bereit für kommerzielle Anwendungen. Nvidia betont die Bedeutung einer verantwortungsvollen KI -Entwicklung und fordert die Teams auf, die Ausrichtung, Sicherheit und Verzerrung des Modells für ihre spezifischen Anwendungsfälle zu bewerten.

Olekisii Kuchaiev, Nvidia's Director von AI Model Post-Training, teilte die Aufregung dieser offenen Version auf X mit und hob das dichte 253B-Design mit togetable Argumentationsfunktionen und die Einbeziehung offener Gewichte und Daten hervor.