选项
首页
新闻
NVIDIA的新Llama-3.1 Nemotron Ultra Ultra的表现为DeepSeek R1,尺寸为一半

NVIDIA的新Llama-3.1 Nemotron Ultra Ultra的表现为DeepSeek R1,尺寸为一半

2025-04-13
202

NVIDIA的新Llama-3.1 Nemotron Ultra Ultra的表现为DeepSeek R1,尺寸为一半

在Meta为其最新Llama 4模型家族面临严格审查之际,Nvidia悄然推出了一款基于Meta早期Llama-3.1-405B-Instruct模型的全新开源大型语言模型(LLM)。这款名为Llama-3.1-Nemotron-Ultra-253B-v1的模型拥有2530亿个参数,专为高级推理、指令遵循和AI助手工作流程而设计。Nvidia最早在3月的年度GPU技术大会(GTC)上暗示了这一模型。

此次发布凸显了Nvidia通过架构创新和精细的后训练流程持续提升性能的承诺。该模型于2025年4月7日宣布,其代码、权重和后训练数据现已在Hugging Face上免费提供。它设计为可根据系统提示在复杂推理任务和简单输出之间无缝切换,为开发者提供灵活的应用选择。

专为高效推理设计

基于Nvidia之前在优化LLM推理方面的努力,Llama-3.1-Nemotron-Ultra-253B采用了神经架构搜索(NAS)流程来优化其架构。这包括跳跃注意力层、融合前馈网络(FFNs)和可变FFN压缩比等创新功能。这些修改降低了模型的内存使用量和计算需求,使其可在单个8x H100 GPU节点上部署,而不影响输出质量。

Nvidia声称该模型在数据中心部署中性能强劲且成本效益高。它兼容Nvidia的B100和Hopper微架构,并在BF16和FP8精度模式下进行了测试。

后训练以增强推理和对齐

该模型经历了全面的后训练过程,包括在数学、代码生成、聊天和工具使用等多个领域进行监督微调,随后通过群体相对策略优化(GRPO)强化学习,以提升其指令遵循和推理能力。

进一步的优化包括在650亿个令牌上进行知识蒸馏,以及在额外880亿个令牌上进行持续预训练。训练数据来源包括FineWeb、Buzz-V1.2和Dolma,后训练提示和响应则来自公共语料库和合成生成方法。这种方法帮助模型区分其推理模式。

在众多领域和基准测试中的性能提升

在启用推理模式后,该模型在多个基准测试中显示出显著改进。例如,在MATH500基准测试中,其性能从标准模式的80.40%飙升至推理模式下的97.00%。同样,AIME25得分从16.67%跃升至72.50%,LiveCodeBench结果从29.03%翻倍至66.31%。

该模型在基于工具的任务和通用问答(GPQA)中也表现出色,在推理模式下得分76.01%,相比之下非推理模式为56.60%。这些基准测试的最大序列长度为32,000个令牌,每项测试重复最多16次以确保准确性。

与拥有6710亿参数的最先进的MoE模型DeepSeek R1相比,Nvidia的模型尽管参数较少,但表现依然出色。它在GPQA(76.01 vs. 71.5)、IFEval指令遵循(89.45 vs. 83.3)和LiveCodeBench编码任务(66.31 vs. 65.9)等任务中优于DeepSeek R1。然而,DeepSeek R1在某些数学评估中略占优势,特别是在AIME25(79.8 vs. 72.50)和MATH500(97.3 vs. 97.00)。

这些结果表明,Nvidia的密集模型在推理和通用指令对齐方面可匹敌或超越MoE模型,尽管在数学密集型类别中略显不足。

使用与集成

该模型与Hugging Face Transformers库(推荐版本4.48.3)无缝集成,支持最长128,000个令牌的序列。开发者可通过系统提示切换推理行为,并根据任务需求选择解码策略。对于推理任务,Nvidia建议使用温度采样(0.6)结合top-p值为0.95,而对于确定性输出则推荐使用贪婪解码。

Llama-3.1-Nemotron-Ultra-253B支持多语言应用,包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。它非常适合多种LLM用例,如聊天机器人开发、AI代理工作流程、检索增强生成(RAG)和代码生成。

商业用途许可

该模型在Nvidia开放模型许可证和Llama 3.1社区许可协议下发布,适用于商业应用。Nvidia强调负责任的AI开发的重要性,敦促团队评估模型在其特定用例中的对齐性、安全性和偏见。

Nvidia的AI模型后训练总监Oleksii Kuchaiev在X上分享了此次开放发布的激动心情,强调其密集的2530亿参数设计具有可切换的推理能力,并包括开放的权重和数据。

相关文章
Frontier AI Labs 拒绝透露针对失控模型的遏制策略 Frontier AI Labs 拒绝透露针对失控模型的遏制策略 最新研究表明,极少数领先的人工智能实验室曾公布或演示过遏制响应计划。遏制计划规定了当人工智能系统试图颠覆人类控制时应采取的程序,明确了哪些访问权限将被撤销,以及何时应彻底关闭系统。这些发现来自致力于推动前沿人工智能安全开发实践的组织“Guidelight AI Standards”,该组织对五家主要实验室应对此类情景的准备情况进行了评估。 OpenAI 排名最高,而 Anthropic 和 Met
OneRail 利用英伟达人工智能优化实时“最后一公里”配送 OneRail 利用英伟达人工智能优化实时“最后一公里”配送 OneRail推出了一款基于Nvidia技术的人工智能驱动配送平台,旨在协助零售商、批发商和分销商为单个订单确定最高效的配送方式。据 OneRail 介绍,该系统名为 OmniSTAR,可评估各种配送渠道——包括自有车队、快递员、包裹服务及其他物流模式——以确定既能满足服务水平协议(SLA),又最具成本效益的解决方案。该平台将英伟达的 cuOpt 决策优化引擎和 cuDF 数据处理软件与 OneR
马克·扎克伯格真的相信人工智能是面向每个人的吗? 马克·扎克伯格真的相信人工智能是面向每个人的吗? 正在加载播放器…Meta 本周推出了 Glimmer,这是一个开源权重的 AI 模型,任何人都可以下载并在个人硬件上运行——这与该公司更强大的模型 Muse Spark 形成了鲜明对比,后者仍锁定在其自有 API 之后。此次发布伴随着马克·扎克伯格(Mark Zuckerberg)的一封公开信,他在信中主张人工智能应向所有人开放,而非由少数几家实验室控制。但正如 Equity 节目主持人所指出的那样,这一愿景附带了几个重要的限制条件。在本期 TechCrunch 的 Equity 播客中,K
相关专题推荐
设计与艺术 最适合创意实验的AI风格转换工具
最适合创意实验的AI风格转换工具

2026年最新最佳、评价最高的AI风格转换工具,助您开展创意实验!XIX.AI精心甄选了一系列功能强大、颠覆性的必试工具,这些工具经过实际测试和严格排名,可带来卓越的效果。这些顶级解决方案通过加速内容创作并释放无限创意潜能,帮助创作者显著提升工作效率。 立即探索,找到最适合您的工具,今天就开始创作吧!

9 个工具
xix.ai
漫画创作 最适合视觉叙事的AI对话气泡工具
最适合视觉叙事的AI对话气泡工具

2026年最新、最受欢迎的视觉叙事AI对话气泡工具现已登陆XIX.AI!这份精心精选的合集汇集了功能强大、具有颠覆性的工具,可帮助创作者提升工作效率并突破创作瓶颈。 获取免费版与付费版的对比分析,查看实际测试结果,并查阅最新排行榜,找到最适合打造引人入胜的视觉叙事的必试解决方案。立即探索,发现您的理想工具!

10 个工具
xix.ai
会议助理 顶级AI会议摘要工具:清晰追踪决策与后续跟进
顶级AI会议摘要工具:清晰追踪决策与后续跟进

2026年最新高评分最佳AI会议摘要工具,助您清晰追踪决策并轻松跟进。这份精心筛选的清单展示了功能强大、具有颠覆性的解决方案,它们通过自动化会议记录、识别关键行动项以及简化所有项目中的团队协调,显著提升工作效率。 获取免费版与付费版的对比分析,以及实际测试报告和每周更新的排行榜,助您找到最适合的工具。立即探索,释放您的AI优势!

9 个工具
xix.ai
数据分析 最佳人工智能数据清洗工具:快速处理缺失值与重复数据
最佳人工智能数据清洗工具:快速处理缺失值与重复数据

2026年最新、最优秀且评分最高的AI数据清洗工具,可快速处理缺失值与重复数据问题。这份精心挑选的清单展示了那些功能强大、能带来颠覆性变革的解决方案,可显著提升工作效率。所有候选工具都经过了严格的实际应用测试,以确保其稳定性。您可以获取免费版与付费版的对比信息,找出最符合您需求的必备工具。即刻访问XIX.AI,开启您的AI优势之旅。

11 个工具
xix.ai
设计与艺术 最佳AI创意构思工具,助力艺术家突破视觉瓶颈
最佳AI创意构思工具,助力艺术家突破视觉瓶颈

2026 年最新最佳顶级评分 AI 创意构思工具由 XIX.AI 精心策划,旨在帮助创作者突破视觉瓶颈并即时提升创造力。这些强大的变革性工具提供真实世界测试、详细的免费与付费对比以及每周更新的排名。发现您的完美工具,加速内容创作,并立即释放您的 AI 优势。立即探索!

14 个工具
xix.ai
音乐创作 适用于 TikTok 背景音乐、Reels 音频和创作者宣传音乐的 AI 节拍生成器
适用于 TikTok 背景音乐、Reels 音频和创作者宣传音乐的 AI 节拍生成器

2026年最新最全的AI节拍生成器,适用于TikTok背景音乐、Reels音频及创作者宣传音乐!XIX.AI精心筛选了一系列广受好评、功能强大的革命性工具,这些工具均经过实际测试,可为各类内容创作需求提供完美的音乐。 您将在此找到详尽的免费版与付费版对比数据、每周更新的排行榜,以及不容错过的精选工具,助您激发创意并提升工作效率。立即探索,发现最适合您的工具!

11 个工具
xix.ai
评论 (54)
0/500
JonathanNelson
JonathanNelson 2025-12-09 16:30:42

Интересно, как Nvidia удалось упаковать все эти параметры в модель размером вдвое меньше. Выходит, вложения в архитектуру дают больше преимуществ, чем просто увеличение данных? Хотя, конечно, с учётом их вычислительных ресурсов не стоит удивляться. Что особенно ценно, так это тот факт, что модель открыта. На этом фоне заявления Meta порой звучат слишком громко и с многочисленными оговорками 🤔 Это может изменить правила игры для независимых исследователей!

CharlesYoung
CharlesYoung 2025-11-03 12:30:34

¿Nvidia saca otro modelo open-source más potente que DeepSeek R1? 🤔 Me pregunto si esto realmente marcará una diferencia práctica para los desarrolladores o es solo otra carrera por los números en los benchmarks. ¡253 mil millones de parámetros parece excesivo!

DouglasMartínez
DouglasMartínez 2025-08-18 23:01:00

Nvidia's new model sounds like a beast! Half the size of DeepSeek R1 but still outperforms it? That's wild efficiency. Can't wait to see how devs play with this open-source gem! 🚀

StephenRoberts
StephenRoberts 2025-08-01 10:48:18

Nvidia's new model sounds like a beast! Half the size of DeepSeek R1 but still outshines it? That's some serious tech flex. Can't wait to see how devs play with this open-source gem! 😎

AnthonyRoberts
AnthonyRoberts 2025-04-24 16:35:07

Nvidia's new Llama-3.1 Nemotron Ultra is a beast! It's amazing how it outperforms DeepSeek R1 with half the size. I've been using it for my projects and the results are incredible. Just wish it was a bit faster, but overall, a solid choice! 🚀

JohnRoberts
JohnRoberts 2025-04-23 08:03:45

¡El Llama-3.1 Nemotron Ultra de Nvidia es impresionante! Supera al DeepSeek R1 con la mitad del tamaño, lo cual es alucinante. Lo he estado usando en mis proyectos y es súper eficiente. Lo único es que puede ser un poco complicado de configurar. Aún así, una excelente opción para quien busque un LLM potente. 🚀

OR