Nvidiaの新しいllama-3.1Nemotronウルトラは、半分のサイズでDeepseek R1を上回る

メタは最新のLlama 4モデルファミリーを取り巻く精査に取り組んでいますが、Nvidiaは、Metaの以前のLlama-3.1-405B-Instructモデルに基づいて、新しい完全にオープンソースの大手言語モデル（LLM）を静かに展開しました。 Llama-3.1-Nemotron-Ultra-253B-V1という名前のこのモデルは、2億5,30億のパラメーターを誇り、高度な推論、指導、およびAIアシスタントワークフローに優れています。 Nvidiaは、3月に毎年恒例のGPUテクノロジー会議（GTC）でこのモデルをほのめかしました。

このリリースでは、建築革新と訓練後の綿密なプロセスを通じてパフォーマンスを向上させるというNvidiaの継続的なコミットメントを強調しています。 2025年4月7日に発表されたモデルのコード、重み、およびトレーニング後のデータは、抱きしめる顔に自由にアクセスできるようになりました。システムプロンプトに基づいて複雑な推論タスクとよりシンプルな出力をシームレスに切り替えるように設計されており、開発者がアプリケーションの柔軟性を提供します。

効率的な推論のために設計されています

LLMA-3.1-Nemotron-Ultra-253Bには、推論のためにLLMSを最適化するためのNvidiaの以前の取り組みに基づいて構築されています。これには、スキップされた注意レイヤー、融合したフィードフォワードネットワーク（FFN）、可変FFN圧縮比などの革新的な機能が含まれます。これらの変更により、モデルのメモリの使用量と計算要件が減少し、出力品質を損なうことなく、単一の8x H100 GPUノードに展開できます。

Nvidiaは、このモデルはデータセンターの展開に費用対効果が高い間、堅牢なパフォーマンスを提供すると主張しています。 NVIDIAのB100およびホッパーマイクロアーキテクチャと互換性があり、BF16およびFP8精度モードの両方でテストされています。

推論とアラインメントのためのトレーニング後

このモデルは、包括的なトレーニング後のレジメンを受けました。これには、数学、コード生成、チャット、ツールの使用など、さまざまなドメインにわたる監視付き微調整が含まれ、その後、グループ相対ポリシー最適化（GRPO）を使用して補強学習を行い、指導の公開能力と推論機能を強化しました。

さらに洗練は、650億のトークンを超える知識蒸留段階を通じて行われ、さらに880億トークンで継続的に前提となりました。トレーニングデータソースには、FineWeb、Buzz-V1.2、およびDolmaが含まれており、トレーニング後のプロンプトと対応が公共のcorporaと合成生成方法の両方から引き出されました。このアプローチは、モデルが推論モードを区別するのに役立ちました。

多数のドメインとベンチマークでパフォーマンスを向上させました

推論のために有効になると、モデルはさまざまなベンチマークで大幅な改善を示しました。たとえば、Math500ベンチマークでは、そのパフォーマンスは標準モードの80.40％から97.00％に急増し、推論が有効になりました。同様に、AIME25スコアは16.67％から72.50％にジャンプし、LiveCodebenchの結果は29.03％から66.31％に2倍以上になりました。

このモデルは、ツールベースのタスクと一般的な質問応答（GPQA）にも優れており、56.60％なしで推論モードで76.01％を獲得しました。これらのベンチマークは、32,000トークンの最大シーケンス長で実行され、各テストは精度のために最大16回繰り返されました。

6710億パラメーターを備えた最先端のMOEモデルDeepseek R1と比較して、Nvidiaのモデルはパラメーターが少ないにもかかわらず独自のパラメーターを保持しています。 GPQA（76.01対71.5）、次のイベール命令（89.45対83.3）、およびLiveCodebenchコーディングタスク（66.31対65.9）などのタスクでDeepSeek R1を上回ります。ただし、DeepSeek R1は、特定の数学評価、特にAIME25（79.8対72.50）およびMath500（97.3対97.00）でわずかにエッジアウトします。

これらの結果は、Nvidiaの密なモデルが、数学集約型のカテゴリにわずかに遅れているにもかかわらず、推論と一般的な命令の調整においてMOEモデルと一致または上回ることができることを示しています。

使用と統合

このモデルは、ハグのフェイストランスライブラリ（バージョン4.48.3が推奨）とシームレスに統合し、最大128,000トークンまでのシーケンスをサポートしています。開発者は、システムプロンプトを使用して推論動作を切り替えて、タスクのニーズに基づいてデコード戦略を選択できます。推論のタスクのために、Nvidiaは、0.95の最高値で温度サンプリング（0.6）を使用することを提案しますが、決定論的な出力には貪欲なデコードが推奨されます。

Llama-3.1-Nemotron-Ultra-253Bは、英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイなどの多言語アプリケーションをサポートしています。チャットボット開発、AIエージェントワークフロー、検索得掛立手（RAG）、コード生成など、さまざまなLLMユースケースに適しています。

商業使用のためのライセンス

NVIDIA Open Modelライセンスの下でリリースされ、Llama 3.1コミュニティライセンス契約によって管理されているこのモデルは、商用アプリケーションの準備ができています。 Nvidiaは、責任あるAI開発の重要性を強調し、特定のユースケースのモデルのアラインメント、安全性、バイアスを評価するようチームに促します。

NVIDIAのAIモデル後のトレーニング後のディレクターであるOleksii Kuchaievは、このオープンリリースについての興奮をXで共有し、密集した253Bデザインを強調して、オープンウェイトとデータを含めて強調しました。