NVIDIA का नया LLAMA-3.1 नेमोट्रॉन अल्ट्रा आउटपरफॉर्म्स डीपसेक आर 1 आधे आकार में
13 अप्रैल 2025
LarryMartinez
34
जबकि मेटा अपने नवीनतम लामा 4 मॉडल परिवार के आसपास की जांच के साथ जूझता है, एनवीडिया ने चुपचाप मेटा के पहले LLAMA-3.1-405B- इंस्ट्रक्शन मॉडल पर आधारित एक नया, पूरी तरह से ओपन-सोर्स बड़े भाषा मॉडल (LLM) को रोल किया है। LLAMA-3.1-NEMOTRON-ULTRA-253B-V1 का नाम, यह मॉडल 253 बिलियन पैरामीटर का दावा करता है और उन्नत तर्क, निर्देश निम्नलिखित और AI सहायक वर्कफ़्लो में उत्कृष्टता प्राप्त करने के लिए इंजीनियर है। NVIDIA ने पहली बार मार्च में अपने वार्षिक GPU प्रौद्योगिकी सम्मेलन (GTC) के दौरान इस मॉडल में संकेत दिया।
यह रिलीज आर्किटेक्चरल इनोवेशन और सावधानीपूर्वक पोस्ट-ट्रेनिंग प्रक्रियाओं के माध्यम से प्रदर्शन को बढ़ाने के लिए एनवीडिया की चल रही प्रतिबद्धता को रेखांकित करता है। 7 अप्रैल, 2025 को घोषित, मॉडल का कोड, वेट, और पोस्ट-ट्रेनिंग डेटा अब आज़ाद रूप से गले लगाने के लिए सुलभ है। यह जटिल तर्क कार्यों और सिस्टम प्रॉम्प्ट के आधार पर सरल आउटपुट के बीच मूल रूप से स्विच करने के लिए डिज़ाइन किया गया है, जो अपने अनुप्रयोगों में डेवलपर्स लचीलेपन की पेशकश करता है।
कुशल अनुमान के लिए डिज़ाइन किया गया
एनवीआईडीआईए के पूर्व प्रयासों के लिए एलएलएम के अनुकूलन के लिए निर्माण, लामा -3.1-नेमोट्रॉन-यूएलटीआरए -253 बी अपनी वास्तुकला को परिष्कृत करने के लिए एक तंत्रिका वास्तुकला खोज (एनएएस) प्रक्रिया को शामिल करता है। इसमें स्किप्ड अटेंशन लेयर्स, फ़्यूज़्ड फीडफॉरवर्ड नेटवर्क (FFNs), और वेरिएबल FFN संपीड़न अनुपात जैसी नवीन विशेषताएं शामिल हैं। ये संशोधन मॉडल की मेमोरी उपयोग और कम्प्यूटेशनल आवश्यकताओं को कम करते हैं, जिससे यह आउटपुट गुणवत्ता से समझौता किए बिना एक एकल 8x H100 GPU नोड पर तैनात हो जाता है।
NVIDIA का दावा है कि यह मॉडल डेटा सेंटर की तैनाती के लिए लागत प्रभावी होने के दौरान मजबूत प्रदर्शन प्रदान करता है। यह NVIDIA के B100 और हॉपर माइक्रोआर्किटेक्चर के साथ संगत है, और BF16 और FP8 सटीक मोड दोनों में परीक्षण किया गया है।
तर्क और संरेखण के लिए प्रशिक्षण के बाद
मॉडल एक व्यापक पोस्ट-ट्रेनिंग रेजिमेन से गुजरता है। इसमें विभिन्न डोमेन जैसे गणित, कोड जनरेशन, चैट, और टूल का उपयोग शामिल है, इसके बाद समूह सापेक्ष नीति अनुकूलन (जीआरपीओ) के साथ सुदृढीकरण सीखने के बाद इसकी निर्देश-निम्नलिखित और तर्क क्षमताओं को बढ़ाने के लिए सुदृढीकरण सीखना शामिल था।
आगे शोधन 65 बिलियन टोकन से अधिक एक ज्ञान आसवन चरण के माध्यम से आया, और अतिरिक्त 88 बिलियन टोकन पर लगातार प्रीट्रेनिंग। प्रशिक्षण डेटा स्रोतों में फाइनवेब, बज़-वी 1.2, और डोल्मा शामिल थे, जिसमें प्रशिक्षण के बाद के संकेत और प्रतिक्रियाएं सार्वजनिक कॉर्पोरा और सिंथेटिक पीढ़ी दोनों तरीकों से खींची गई थीं। इस दृष्टिकोण ने मॉडल को अपने तर्क मोड के बीच अंतर करने में मदद की।
कई डोमेन और बेंचमार्क में बेहतर प्रदर्शन
जब तर्क के लिए सक्षम किया जाता है, तो मॉडल ने विभिन्न बेंचमार्क पर महत्वपूर्ण सुधार दिखाया। उदाहरण के लिए, MATH500 बेंचमार्क पर, इसका प्रदर्शन मानक मोड में 80.40% से बढ़कर 97.00% हो गया, जो सक्षम हो गया। इसी तरह, Aime25 स्कोर 16.67% से 72.50% तक बढ़ गया, और Livecodebench परिणाम दोगुना से अधिक हो गया, 29.03% से 66.31% तक।
मॉडल ने टूल-आधारित कार्यों और सामान्य प्रश्न उत्तर (GPQA) में भी उत्कृष्ट प्रदर्शन किया, बिना 56.60% की तुलना में तर्क मोड में 76.01% स्कोर किया। ये बेंचमार्क 32,000 टोकन की अधिकतम अनुक्रम लंबाई के साथ आयोजित किए गए थे, और प्रत्येक परीक्षण को सटीकता के लिए 16 गुना तक दोहराया गया था।
अत्याधुनिक मो मॉडल डीपसेक आर 1 की तुलना में, जिसमें 671 बिलियन पैरामीटर हैं, एनवीडिया का मॉडल कम मापदंडों के बावजूद अपना खुद का है। यह GPQA (76.01 बनाम 71.5), Ifeval निर्देश के बाद (89.45 बनाम 83.3), और Livecodebench कोडिंग कार्य (66.31 बनाम 65.9) जैसे कार्यों में डीपसेक R1 को बेहतर बनाता है। हालांकि, डीपसेक आर 1 कुछ गणित के मूल्यांकन में थोड़ा बाहर निकलता है, विशेष रूप से Aime25 (79.8 बनाम 72.50) और Math500 (97.3 बनाम 97.00)।
इन परिणामों से संकेत मिलता है कि NVIDIA का घना मॉडल तर्क और सामान्य निर्देश संरेखण में MOE मॉडल से मेल खाता है या उससे अधिक हो सकता है, हालांकि यह गणित-गहन श्रेणियों में थोड़ा पिछड़ता है।
उपयोग और एकीकरण
मॉडल हगिंग फेस ट्रांसफॉर्मर लाइब्रेरी (संस्करण 4.48.3 अनुशंसित) के साथ मूल रूप से एकीकृत करता है और 128,000 टोकन तक के अनुक्रमों का समर्थन करता है। डेवलपर्स सिस्टम प्रॉम्प्ट का उपयोग करके तर्क व्यवहार को टॉगल कर सकते हैं और कार्य आवश्यकताओं के आधार पर डिकोडिंग रणनीतियों का चयन कर सकते हैं। तर्क कार्यों के लिए, NVIDIA 0.95 के शीर्ष-पी मान के साथ तापमान नमूनाकरण (0.6) का उपयोग करने का सुझाव देता है, जबकि नियतात्मक आउटपुट के लिए लालची डिकोडिंग की सिफारिश की जाती है।
Llama-3.1-Nemotron-Ultra-253B अंग्रेजी, जर्मन, फ्रेंच, इतालवी, पुर्तगाली, हिंदी, स्पेनिश और थाई सहित बहुभाषी अनुप्रयोगों का समर्थन करता है। यह विभिन्न एलएलएम उपयोग के मामलों जैसे कि चैटबॉट डेवलपमेंट, एआई एजेंट वर्कफ़्लोज़, रिट्रीवल-एगमेंटेड जेनरेशन (आरएजी), और कोड जेनरेशन के लिए अच्छी तरह से अनुकूल है।
वाणिज्यिक उपयोग के लिए लाइसेंस
एनवीडिया ओपन मॉडल लाइसेंस के तहत जारी और लामा 3.1 सामुदायिक लाइसेंस समझौते द्वारा शासित, मॉडल वाणिज्यिक अनुप्रयोगों के लिए तैयार है। NVIDIA जिम्मेदार AI विकास के महत्व पर जोर देता है, टीमों से उनके विशिष्ट उपयोग के मामलों के लिए मॉडल के संरेखण, सुरक्षा और पूर्वाग्रह का आकलन करने का आग्रह करता है।
एआई मॉडल पोस्ट-ट्रेनिंग के एनवीडिया के निदेशक ओलेक्सि कुचिएव ने एक्स पर इस खुली रिलीज के बारे में उत्साह को साझा किया, जो अपने घने 253 बी डिजाइन को टॉगल करने योग्य तर्क क्षमताओं के साथ उजागर करता है, और खुले वजन और डेटा को शामिल करने के लिए।
संबंधित लेख
前Deepseeker和合作者發布了新的培訓可靠AI代理的方法：Ragen
人工智能代理年度：仔細研究2025年的期望和現實2025年被許多專家預示為當年的AI代理商（由高級大型語言和多式聯運公司提供支持的AI代理商），來自OpenAI，Anthropic，Google和Google和Deepseek等公司，最終將帶上中心中心中心中心。
蓋亞（Gaia
智力無處不在，但是準確地測量它就像試圖用裸手抓住雲。我們使用考試和基準（例如大學入學考試）來獲得一個大概的想法。每年，學生都會為這些測試做好準備，有時甚至得分完美的100％。但是那是完美的分數
Coreweave創始人兌現了4.88億美元，潛在的40億美元IPO
CoreWeave的IPO備案顯示出令人驚訝的細節，而High Stakes Coreweave的S-1文檔預計了其預期的首次公開募股（IPO），充滿了有趣的啟示。在NVIDIA的支持下，該公司在32個數據中心運營專門的AI雲服務，擁有超過250,000
सूचना (50)
0/200
![KeithNelson]()
KeithNelson
13 अप्रैल 2025 7:54:42 अपराह्न GMT
Nvidia's new model is impressive, outperforming others at half the size. It's great for those who need efficiency without sacrificing performance. The only downside is the setup can be a bit tricky. Overall, a solid choice for AI enthusiasts!
0
![RalphMitchell]()
RalphMitchell
13 अप्रैल 2025 7:54:42 अपराह्न GMT
Nvidiaの新しいモデルは、半分のサイズで他のモデルを上回るのが印象的です。効率を求める人には最適ですが、セットアップが少し難しいのが唯一の欠点です。全体的に、AI愛好者にとっては良い選択ですね！
0
![GeorgeWilson]()
GeorgeWilson
13 अप्रैल 2025 7:54:42 अपराह्न GMT
Nvidia의 새로운 모델은 반 크기에서도 다른 모델을 능가하는 것이 인상적입니다. 효율성을 희생하지 않고 성능을 원하는 사람들에게 좋습니다. 유일한 단점은 설정이 조금 까다롭다는 점입니다. 전반적으로 AI 애호가들에게 좋은 선택입니다!
0
![GeorgeNelson]()
GeorgeNelson
13 अप्रैल 2025 7:54:42 अपराह्न GMT
O novo modelo da Nvidia é impressionante, superando outros com metade do tamanho. É ótimo para quem precisa de eficiência sem sacrificar o desempenho. A única desvantagem é que a configuração pode ser um pouco complicada. No geral, uma boa escolha para entusiastas de IA!
0
![GeorgeMiller]()
GeorgeMiller
13 अप्रैल 2025 7:54:42 अपराह्न GMT
El nuevo modelo de Nvidia es impresionante, superando a otros con la mitad del tamaño. Es genial para aquellos que necesitan eficiencia sin sacrificar el rendimiento. La única desventaja es que la configuración puede ser un poco complicada. En general, una sólida opción para entusiastas de la IA!
0
![BrianLewis]()
BrianLewis
13 अप्रैल 2025 5:40:08 अपराह्न GMT
Nvidia's Llama-3.1 Nemotron Ultra is impressive! It outperforms DeepSeek R1 and is half the size, which is crazy. I've been using it for my projects and it's been a game-changer. The only downside is the setup can be a bit tricky, but once you get it running, it's smooth sailing!
0
13 अप्रैल 2025
LarryMartinez
34
जबकि मेटा अपने नवीनतम लामा 4 मॉडल परिवार के आसपास की जांच के साथ जूझता है, एनवीडिया ने चुपचाप मेटा के पहले LLAMA-3.1-405B- इंस्ट्रक्शन मॉडल पर आधारित एक नया, पूरी तरह से ओपन-सोर्स बड़े भाषा मॉडल (LLM) को रोल किया है। LLAMA-3.1-NEMOTRON-ULTRA-253B-V1 का नाम, यह मॉडल 253 बिलियन पैरामीटर का दावा करता है और उन्नत तर्क, निर्देश निम्नलिखित और AI सहायक वर्कफ़्लो में उत्कृष्टता प्राप्त करने के लिए इंजीनियर है। NVIDIA ने पहली बार मार्च में अपने वार्षिक GPU प्रौद्योगिकी सम्मेलन (GTC) के दौरान इस मॉडल में संकेत दिया।
यह रिलीज आर्किटेक्चरल इनोवेशन और सावधानीपूर्वक पोस्ट-ट्रेनिंग प्रक्रियाओं के माध्यम से प्रदर्शन को बढ़ाने के लिए एनवीडिया की चल रही प्रतिबद्धता को रेखांकित करता है। 7 अप्रैल, 2025 को घोषित, मॉडल का कोड, वेट, और पोस्ट-ट्रेनिंग डेटा अब आज़ाद रूप से गले लगाने के लिए सुलभ है। यह जटिल तर्क कार्यों और सिस्टम प्रॉम्प्ट के आधार पर सरल आउटपुट के बीच मूल रूप से स्विच करने के लिए डिज़ाइन किया गया है, जो अपने अनुप्रयोगों में डेवलपर्स लचीलेपन की पेशकश करता है।
कुशल अनुमान के लिए डिज़ाइन किया गया
एनवीआईडीआईए के पूर्व प्रयासों के लिए एलएलएम के अनुकूलन के लिए निर्माण, लामा -3.1-नेमोट्रॉन-यूएलटीआरए -253 बी अपनी वास्तुकला को परिष्कृत करने के लिए एक तंत्रिका वास्तुकला खोज (एनएएस) प्रक्रिया को शामिल करता है। इसमें स्किप्ड अटेंशन लेयर्स, फ़्यूज़्ड फीडफॉरवर्ड नेटवर्क (FFNs), और वेरिएबल FFN संपीड़न अनुपात जैसी नवीन विशेषताएं शामिल हैं। ये संशोधन मॉडल की मेमोरी उपयोग और कम्प्यूटेशनल आवश्यकताओं को कम करते हैं, जिससे यह आउटपुट गुणवत्ता से समझौता किए बिना एक एकल 8x H100 GPU नोड पर तैनात हो जाता है।
NVIDIA का दावा है कि यह मॉडल डेटा सेंटर की तैनाती के लिए लागत प्रभावी होने के दौरान मजबूत प्रदर्शन प्रदान करता है। यह NVIDIA के B100 और हॉपर माइक्रोआर्किटेक्चर के साथ संगत है, और BF16 और FP8 सटीक मोड दोनों में परीक्षण किया गया है।
तर्क और संरेखण के लिए प्रशिक्षण के बाद
मॉडल एक व्यापक पोस्ट-ट्रेनिंग रेजिमेन से गुजरता है। इसमें विभिन्न डोमेन जैसे गणित, कोड जनरेशन, चैट, और टूल का उपयोग शामिल है, इसके बाद समूह सापेक्ष नीति अनुकूलन (जीआरपीओ) के साथ सुदृढीकरण सीखने के बाद इसकी निर्देश-निम्नलिखित और तर्क क्षमताओं को बढ़ाने के लिए सुदृढीकरण सीखना शामिल था।
आगे शोधन 65 बिलियन टोकन से अधिक एक ज्ञान आसवन चरण के माध्यम से आया, और अतिरिक्त 88 बिलियन टोकन पर लगातार प्रीट्रेनिंग। प्रशिक्षण डेटा स्रोतों में फाइनवेब, बज़-वी 1.2, और डोल्मा शामिल थे, जिसमें प्रशिक्षण के बाद के संकेत और प्रतिक्रियाएं सार्वजनिक कॉर्पोरा और सिंथेटिक पीढ़ी दोनों तरीकों से खींची गई थीं। इस दृष्टिकोण ने मॉडल को अपने तर्क मोड के बीच अंतर करने में मदद की।
कई डोमेन और बेंचमार्क में बेहतर प्रदर्शन
जब तर्क के लिए सक्षम किया जाता है, तो मॉडल ने विभिन्न बेंचमार्क पर महत्वपूर्ण सुधार दिखाया। उदाहरण के लिए, MATH500 बेंचमार्क पर, इसका प्रदर्शन मानक मोड में 80.40% से बढ़कर 97.00% हो गया, जो सक्षम हो गया। इसी तरह, Aime25 स्कोर 16.67% से 72.50% तक बढ़ गया, और Livecodebench परिणाम दोगुना से अधिक हो गया, 29.03% से 66.31% तक।
मॉडल ने टूल-आधारित कार्यों और सामान्य प्रश्न उत्तर (GPQA) में भी उत्कृष्ट प्रदर्शन किया, बिना 56.60% की तुलना में तर्क मोड में 76.01% स्कोर किया। ये बेंचमार्क 32,000 टोकन की अधिकतम अनुक्रम लंबाई के साथ आयोजित किए गए थे, और प्रत्येक परीक्षण को सटीकता के लिए 16 गुना तक दोहराया गया था।
अत्याधुनिक मो मॉडल डीपसेक आर 1 की तुलना में, जिसमें 671 बिलियन पैरामीटर हैं, एनवीडिया का मॉडल कम मापदंडों के बावजूद अपना खुद का है। यह GPQA (76.01 बनाम 71.5), Ifeval निर्देश के बाद (89.45 बनाम 83.3), और Livecodebench कोडिंग कार्य (66.31 बनाम 65.9) जैसे कार्यों में डीपसेक R1 को बेहतर बनाता है। हालांकि, डीपसेक आर 1 कुछ गणित के मूल्यांकन में थोड़ा बाहर निकलता है, विशेष रूप से Aime25 (79.8 बनाम 72.50) और Math500 (97.3 बनाम 97.00)।
इन परिणामों से संकेत मिलता है कि NVIDIA का घना मॉडल तर्क और सामान्य निर्देश संरेखण में MOE मॉडल से मेल खाता है या उससे अधिक हो सकता है, हालांकि यह गणित-गहन श्रेणियों में थोड़ा पिछड़ता है।
उपयोग और एकीकरण
मॉडल हगिंग फेस ट्रांसफॉर्मर लाइब्रेरी (संस्करण 4.48.3 अनुशंसित) के साथ मूल रूप से एकीकृत करता है और 128,000 टोकन तक के अनुक्रमों का समर्थन करता है। डेवलपर्स सिस्टम प्रॉम्प्ट का उपयोग करके तर्क व्यवहार को टॉगल कर सकते हैं और कार्य आवश्यकताओं के आधार पर डिकोडिंग रणनीतियों का चयन कर सकते हैं। तर्क कार्यों के लिए, NVIDIA 0.95 के शीर्ष-पी मान के साथ तापमान नमूनाकरण (0.6) का उपयोग करने का सुझाव देता है, जबकि नियतात्मक आउटपुट के लिए लालची डिकोडिंग की सिफारिश की जाती है।
Llama-3.1-Nemotron-Ultra-253B अंग्रेजी, जर्मन, फ्रेंच, इतालवी, पुर्तगाली, हिंदी, स्पेनिश और थाई सहित बहुभाषी अनुप्रयोगों का समर्थन करता है। यह विभिन्न एलएलएम उपयोग के मामलों जैसे कि चैटबॉट डेवलपमेंट, एआई एजेंट वर्कफ़्लोज़, रिट्रीवल-एगमेंटेड जेनरेशन (आरएजी), और कोड जेनरेशन के लिए अच्छी तरह से अनुकूल है।
वाणिज्यिक उपयोग के लिए लाइसेंस
एनवीडिया ओपन मॉडल लाइसेंस के तहत जारी और लामा 3.1 सामुदायिक लाइसेंस समझौते द्वारा शासित, मॉडल वाणिज्यिक अनुप्रयोगों के लिए तैयार है। NVIDIA जिम्मेदार AI विकास के महत्व पर जोर देता है, टीमों से उनके विशिष्ट उपयोग के मामलों के लिए मॉडल के संरेखण, सुरक्षा और पूर्वाग्रह का आकलन करने का आग्रह करता है।
एआई मॉडल पोस्ट-ट्रेनिंग के एनवीडिया के निदेशक ओलेक्सि कुचिएव ने एक्स पर इस खुली रिलीज के बारे में उत्साह को साझा किया, जो अपने घने 253 बी डिजाइन को टॉगल करने योग्य तर्क क्षमताओं के साथ उजागर करता है, और खुले वजन और डेटा को शामिल करने के लिए।
前Deepseeker和合作者發布了新的培訓可靠AI代理的方法：Ragen
人工智能代理年度：仔細研究2025年的期望和現實2025年被許多專家預示為當年的AI代理商（由高級大型語言和多式聯運公司提供支持的AI代理商），來自OpenAI，Anthropic，Google和Google和Deepseek等公司，最終將帶上中心中心中心中心。
蓋亞（Gaia
智力無處不在，但是準確地測量它就像試圖用裸手抓住雲。我們使用考試和基準（例如大學入學考試）來獲得一個大概的想法。每年，學生都會為這些測試做好準備，有時甚至得分完美的100％。但是那是完美的分數
Coreweave創始人兌現了4.88億美元，潛在的40億美元IPO
CoreWeave的IPO備案顯示出令人驚訝的細節，而High Stakes Coreweave的S-1文檔預計了其預期的首次公開募股（IPO），充滿了有趣的啟示。在NVIDIA的支持下，該公司在32個數據中心運營專門的AI雲服務，擁有超過250,000
13 अप्रैल 2025 7:54:42 अपराह्न GMT
Nvidia's new model is impressive, outperforming others at half the size. It's great for those who need efficiency without sacrificing performance. The only downside is the setup can be a bit tricky. Overall, a solid choice for AI enthusiasts!
0
13 अप्रैल 2025 7:54:42 अपराह्न GMT
Nvidiaの新しいモデルは、半分のサイズで他のモデルを上回るのが印象的です。効率を求める人には最適ですが、セットアップが少し難しいのが唯一の欠点です。全体的に、AI愛好者にとっては良い選択ですね！
0
13 अप्रैल 2025 7:54:42 अपराह्न GMT
Nvidia의 새로운 모델은 반 크기에서도 다른 모델을 능가하는 것이 인상적입니다. 효율성을 희생하지 않고 성능을 원하는 사람들에게 좋습니다. 유일한 단점은 설정이 조금 까다롭다는 점입니다. 전반적으로 AI 애호가들에게 좋은 선택입니다!
0
13 अप्रैल 2025 7:54:42 अपराह्न GMT
O novo modelo da Nvidia é impressionante, superando outros com metade do tamanho. É ótimo para quem precisa de eficiência sem sacrificar o desempenho. A única desvantagem é que a configuração pode ser um pouco complicada. No geral, uma boa escolha para entusiastas de IA!
0
13 अप्रैल 2025 7:54:42 अपराह्न GMT
El nuevo modelo de Nvidia es impresionante, superando a otros con la mitad del tamaño. Es genial para aquellos que necesitan eficiencia sin sacrificar el rendimiento. La única desventaja es que la configuración puede ser un poco complicada. En general, una sólida opción para entusiastas de la IA!
0
13 अप्रैल 2025 5:40:08 अपराह्न GMT
Nvidia's Llama-3.1 Nemotron Ultra is impressive! It outperforms DeepSeek R1 and is half the size, which is crazy. I've been using it for my projects and it's been a game-changer. The only downside is the setup can be a bit tricky, but once you get it running, it's smooth sailing!
0
