首页Meta的Llama 3.1是AI代的进步
周二，Meta揭开了其Llama系列大型语言模型（LLMs）的最新成员——Llama 3.1的面纱。该公司自豪地宣称Llama 3.1是首个开源的“前沿模型”，这一术语通常用于指代最先进的人工智能模型。
Llama 3.1有多种规模，但真正引人注目的是其巨型“405B”模型。凭借惊人的4050亿个神经“权重”或参数，它超越了其他著名开源模型，如Nvidia的Nemotron 4、Google的Gemma 2和Mixtral。更引人入胜的是Meta团队在打造这一巨型模型时所做的三个关键决策。
这些决策堪称神经网络工程的杰作，构成了Llama 3.1 405B构建和训练的支柱。它们还建立在Meta在Llama 2中展示的效率提升基础上，展示了减少深度学习总体计算预算的潜力。
首先，Llama 3.1 405B放弃了Google在其闭源Gemini 1.5和Mistral在其Mixtral中使用的“专家混合”方法。这种方法涉及创建不同的神经权重组合，其中一些可以关闭以简化预测。相反，Meta的研究人员坚持使用自Google在2017年引入的经典“仅解码器变换器模型架构”。他们声称这一选择带来了更稳定的训练过程。
其次，为了提升这种简单变换器模型的性能，Meta的团队提出了一种巧妙的多阶段训练方法。众所周知，平衡训练数据量和计算资源会显著影响预测质量。但传统的“扩展定律”，即基于模型规模和数据预测性能的规则，并不一定能反映模型在“下游”任务（如推理测试）中的表现。
因此，Meta开发了自己的扩展定律。他们增加了训练数据和计算资源，通过多次迭代测试不同组合，以查看生成的模型在关键下游任务中的表现。这一细致的过程帮助他们找到了最佳点，从而选择了4050亿个参数作为旗舰模型。最终训练由Meta的Grand Teton AI服务器上的16000个Nvidia H100 GPU芯片提供支持，并采用复杂系统并行运行数据和权重。
第三个创新在于训练后阶段。每次训练结束后，Llama 3.1都会经历一个由人类反馈指导的严格过程，类似于OpenAI和其他公司用来优化模型输出的方法。这包括“监督微调”，模型通过人类偏好学习区分理想和非理想输出。
Meta随后引入了一种名为“直接偏好优化”（DPO）的创新，这是今年由斯坦福大学AI学者开创的一种更高效的强化学习方法。他们还通过展示使用API调用解决的提示示例，训练Llama 3.1使用“工具”，如外部搜索引擎，从而提升其“零样本”工具使用能力。
为了对抗“幻觉”，团队精心挑选了特定训练数据并创建了原创问答对，微调模型以仅回答其知道的内容，并拒绝回答不确定的问题。
在整个开发过程中，Meta研究人员强调简单性，指出高质量数据、规模和直接的方法始终带来最佳结果。尽管他们探索了更复杂的架构和训练方案，但发现增加的复杂性并不足以证明其益处。
Llama 3.1 405B的规模是开源模型的一个里程碑，通常被商业闭源模型所压制。Meta的首席执行官马克·扎克伯格强调了其经济优势，指出开发者运行Llama 3.1 405B的推理成本仅为使用GPT-4o等模型的一半。
扎克伯格还将开源AI视为软件的自然发展，类比Unix从专有系统演变为更先进、安全和广泛的生态系统，这得益于开源开发。
然而，正如ZDNET的Steven Vaughan-Nichols指出的，Meta在Hugging Face上发布的代码缺少一些细节，且代码许可证比典型的开源许可证更严格。因此，尽管Llama 3.1算是开源，但并非完全如此。然而，其训练过程的详细程度令人耳目一新，尤其是当OpenAI和Google等巨头对其闭源模型越来越讳莫如深时。
相关文章
DeepMind首席执行官哈西里斯：我每天睡六个小时，通常在凌晨1点左右感到精力充沛。
Fortune 最近刊登了对谷歌 DeepMind 首席执行官 Demis Hassabis 的采访，揭示了他对休息和生产力的非传统方法。Hassabis 透露，他睡眠时间非常少，将清醒时间划分为两个不同的工作阶段。关于他的睡眠习惯，Hassabis 表示：“我目标睡六小时，但我的习惯非同寻常。我可以在白天有效运作。”他强调，睡眠少于六小时会对大脑健康产生负面影响。Hassabis 于 2010 年联合创立了 DeepMind（后被谷歌收购），并因其在蛋白质结构预测方面的开创性工作荣获 20
尽管营收未达预期，OpenAI与Anthropic仍在争夺市场份额
尽管近期有报道称OpenAI未达营收目标，给本周二的科技股带来压力，但私营人工智能实验室的投资者仍表现坚韧。经验丰富的投资者已确认，尽管媒体报道负面，他们仍不会减少投资。分析师认为当前的人工智能竞赛仍处于早期阶段，因此不会出现“赢家通吃”的局面。尽管高昂的计算成本给营收带来压力，但实验室可通过提高订阅费来提升盈利能力。行业格局正发生微妙变化与OpenAI不同，其竞争对手Anthropic获得了强有
加利福尼亚州自动驾驶合规：罚单、地理围栏和100万英里的新时代
Guident公司在南佛罗里达州运营一辆AuveTech自动驾驶班车，利用其远程监控技术管理西棕榈滩的一条4英里路线和博卡拉顿的一条1英里路线。| 图片来源：Guident加利福尼亚州正在重新定义无人驾驶车辆的监管格局，正逐渐摆脱科技行业“快速行动，打破常规”的思维模式，转向严格的问责制和严苛的行驶里程要求。Guident执行董事长兼首席执行官哈罗德·布劳恩（Harold Braun）在《机器人报
相关专题推荐
音乐创作
用于混音制作、采样准备及卡拉OK母带处理的 AI 声部分离工具
2026年最新、最优秀且评分最高的AI音轨分离工具汇总，专为混音制作、采样准备以及卡拉OK音频处理而设计。这些功能强大的创新工具经过实际测试，能够实现精准的音频分离，显著提升工作效率。XIX.AI每周都会更新免费的付费产品对比指南，帮助您找到最适合自身需求的工具。立即探索，发挥您的AI优势。
8 个工具
xix.ai
数据分析
用于收入看板、转化漏斗分析及产品指标分析的 AI SQL 助手
2026年最新最优秀的AI SQL辅助工具排名揭晓！XIX.AI精心挑选了一系列功能强大的工具，这些工具会定期更新，并通过真实的场景测试来验证其性能。使用这些值得尝试的工具，您可以快速生成精准的收入分析报表、分析销售流程，并追踪产品各项指标，从而大幅提升工作效率。立即探索，找到最适合您的数据驱动决策工具！238个字符
9 个工具
xix.ai
音乐创作
最佳用于歌曲草稿的 AI 旋律创作工具
2026 年最新最佳顶级评分 AI 旋律创作工具，助力歌曲草稿创作！XIX.AI 精心策划了一套极具影响力且经过严格真实世界测试的变革性合集，旨在提供最佳的创作体验。您可以找到详细的免费与付费版对比、精准的排名以及必试选项，这些工具旨在帮助您轻松创作出令人惊艳的歌曲草稿，并显著提升您的创意生产力。立即探索，发现您的完美工具！
8 个工具
xix.ai
聊天机器人
最佳AI对话训练工具，助你备战面试
2026年最新、最受好评的AI面试模拟训练工具现已登陆XIX.AI！这份精心精选的合集收录了功能强大、具有革命性意义的工具，它们均经过严格的实际测试，能够提供精准的反馈。 您将看到免费版与付费版的对比分析以及详细排名，助您挑选出必试之选，从而提升自信并精进技能。立即探索，发现助您面试成功的完美工具！
12 个工具
xix.ai
设计与艺术
最适合创意实验的AI风格转换工具
2026年最新最佳、评价最高的AI风格转换工具，助您开展创意实验！XIX.AI精心甄选了一系列功能强大、颠覆性的必试工具，这些工具经过实际测试和严格排名，可带来卓越的效果。这些顶级解决方案通过加速内容创作并释放无限创意潜能，帮助创作者显著提升工作效率。 立即探索，找到最适合您的工具，今天就开始创作吧！
9 个工具
xix.ai
漫画创作
最适合视觉叙事的AI对话气泡工具
2026年最新、最受欢迎的视觉叙事AI对话气泡工具现已登陆XIX.AI！这份精心精选的合集汇集了功能强大、具有颠覆性的工具，可帮助创作者提升工作效率并突破创作瓶颈。 获取免费版与付费版的对比分析，查看实际测试结果，并查阅最新排行榜，找到最适合打造引人入胜的视觉叙事的必试解决方案。立即探索，发现您的理想工具！
10 个工具
xix.ai
评论 (27)
0/500
![DavidRodriguez]()
Interessant, dass Meta Llama 3.1 als erstes Open-Source-Modell bezeichnet. Aber wer kann so ein riesiges Modell eigentlich sinnvoll nutzen? Für kleine Unternehmen bestimmt zu teuer im Betrieb. 🧐
![ThomasBaker]()
Wow, Llama 3.1 sounds like a game-changer! Open-source and frontier-level? That’s huge for AI devs. Curious how it stacks up against closed models like GPT-4. 😎
![AlbertThomas]()
O Llama 3.1 é incrível! Adoro que seja de código aberto, é como ter um superpoder no meu arsenal de programação. No começo pode ser um pouco confuso, mas vale a pena experimentar se você gosta de IA! 🚀
![GaryGonzalez]()
ラマ3.1は本当にすごい！オープンソースで使えるのが最高です。最初は少し圧倒されましたが、慣れると便利です。AIに興味があるなら、ぜひ試してみてください！🚀
![AnthonyPerez]()
¡Llama 3.1 es una bestia! Me encanta que sea de código abierto, es como tener un superpoder en mi arsenal de programación. Al principio puede ser un poco abrumador, pero definitivamente vale la pena probarlo si te interesa la IA! 🚀
![JustinAnderson]()
¡Llama 3.1 de Meta es una maravilla! Me sorprende cómo están empujando los límites con la IA de código abierto. El rendimiento es genial, pero desearía que hubiera más documentación para principiantes. De todas formas, ¡es una herramienta que hay que probar! 💪
周二，Meta揭开了其Llama系列大型语言模型（LLMs）的最新成员——Llama 3.1的面纱。该公司自豪地宣称Llama 3.1是首个开源的“前沿模型”，这一术语通常用于指代最先进的人工智能模型。
Llama 3.1有多种规模，但真正引人注目的是其巨型“405B”模型。凭借惊人的4050亿个神经“权重”或参数，它超越了其他著名开源模型，如Nvidia的Nemotron 4、Google的Gemma 2和Mixtral。更引人入胜的是Meta团队在打造这一巨型模型时所做的三个关键决策。
这些决策堪称神经网络工程的杰作，构成了Llama 3.1 405B构建和训练的支柱。它们还建立在Meta在Llama 2中展示的效率提升基础上，展示了减少深度学习总体计算预算的潜力。
首先，Llama 3.1 405B放弃了Google在其闭源Gemini 1.5和Mistral在其Mixtral中使用的“专家混合”方法。这种方法涉及创建不同的神经权重组合，其中一些可以关闭以简化预测。相反，Meta的研究人员坚持使用自Google在2017年引入的经典“仅解码器变换器模型架构”。他们声称这一选择带来了更稳定的训练过程。
其次，为了提升这种简单变换器模型的性能，Meta的团队提出了一种巧妙的多阶段训练方法。众所周知，平衡训练数据量和计算资源会显著影响预测质量。但传统的“扩展定律”，即基于模型规模和数据预测性能的规则，并不一定能反映模型在“下游”任务（如推理测试）中的表现。
因此，Meta开发了自己的扩展定律。他们增加了训练数据和计算资源，通过多次迭代测试不同组合，以查看生成的模型在关键下游任务中的表现。这一细致的过程帮助他们找到了最佳点，从而选择了4050亿个参数作为旗舰模型。最终训练由Meta的Grand Teton AI服务器上的16000个Nvidia H100 GPU芯片提供支持，并采用复杂系统并行运行数据和权重。
第三个创新在于训练后阶段。每次训练结束后，Llama 3.1都会经历一个由人类反馈指导的严格过程，类似于OpenAI和其他公司用来优化模型输出的方法。这包括“监督微调”，模型通过人类偏好学习区分理想和非理想输出。
Meta随后引入了一种名为“直接偏好优化”（DPO）的创新，这是今年由斯坦福大学AI学者开创的一种更高效的强化学习方法。他们还通过展示使用API调用解决的提示示例，训练Llama 3.1使用“工具”，如外部搜索引擎，从而提升其“零样本”工具使用能力。
为了对抗“幻觉”，团队精心挑选了特定训练数据并创建了原创问答对，微调模型以仅回答其知道的内容，并拒绝回答不确定的问题。
在整个开发过程中，Meta研究人员强调简单性，指出高质量数据、规模和直接的方法始终带来最佳结果。尽管他们探索了更复杂的架构和训练方案，但发现增加的复杂性并不足以证明其益处。
Llama 3.1 405B的规模是开源模型的一个里程碑，通常被商业闭源模型所压制。Meta的首席执行官马克·扎克伯格强调了其经济优势，指出开发者运行Llama 3.1 405B的推理成本仅为使用GPT-4o等模型的一半。
扎克伯格还将开源AI视为软件的自然发展，类比Unix从专有系统演变为更先进、安全和广泛的生态系统，这得益于开源开发。
然而，正如ZDNET的Steven Vaughan-Nichols指出的，Meta在Hugging Face上发布的代码缺少一些细节，且代码许可证比典型的开源许可证更严格。因此，尽管Llama 3.1算是开源，但并非完全如此。然而，其训练过程的详细程度令人耳目一新，尤其是当OpenAI和Google等巨头对其闭源模型越来越讳莫如深时。
DeepMind首席执行官哈西里斯：我每天睡六个小时，通常在凌晨1点左右感到精力充沛。
Fortune 最近刊登了对谷歌 DeepMind 首席执行官 Demis Hassabis 的采访，揭示了他对休息和生产力的非传统方法。Hassabis 透露，他睡眠时间非常少，将清醒时间划分为两个不同的工作阶段。关于他的睡眠习惯，Hassabis 表示：“我目标睡六小时，但我的习惯非同寻常。我可以在白天有效运作。”他强调，睡眠少于六小时会对大脑健康产生负面影响。Hassabis 于 2010 年联合创立了 DeepMind（后被谷歌收购），并因其在蛋白质结构预测方面的开创性工作荣获 20
尽管营收未达预期，OpenAI与Anthropic仍在争夺市场份额
尽管近期有报道称OpenAI未达营收目标，给本周二的科技股带来压力，但私营人工智能实验室的投资者仍表现坚韧。经验丰富的投资者已确认，尽管媒体报道负面，他们仍不会减少投资。分析师认为当前的人工智能竞赛仍处于早期阶段，因此不会出现“赢家通吃”的局面。尽管高昂的计算成本给营收带来压力，但实验室可通过提高订阅费来提升盈利能力。行业格局正发生微妙变化与OpenAI不同，其竞争对手Anthropic获得了强有
加利福尼亚州自动驾驶合规：罚单、地理围栏和100万英里的新时代
Guident公司在南佛罗里达州运营一辆AuveTech自动驾驶班车，利用其远程监控技术管理西棕榈滩的一条4英里路线和博卡拉顿的一条1英里路线。| 图片来源：Guident加利福尼亚州正在重新定义无人驾驶车辆的监管格局，正逐渐摆脱科技行业“快速行动，打破常规”的思维模式，转向严格的问责制和严苛的行驶里程要求。Guident执行董事长兼首席执行官哈罗德·布劳恩（Harold Braun）在《机器人报
2026年最新、最优秀且评分最高的AI音轨分离工具汇总，专为混音制作、采样准备以及卡拉OK音频处理而设计。这些功能强大的创新工具经过实际测试，能够实现精准的音频分离，显著提升工作效率。XIX.AI每周都会更新免费的付费产品对比指南，帮助您找到最适合自身需求的工具。立即探索，发挥您的AI优势。
8 个工具
xix.ai
2026年最新最优秀的AI SQL辅助工具排名揭晓！XIX.AI精心挑选了一系列功能强大的工具，这些工具会定期更新，并通过真实的场景测试来验证其性能。使用这些值得尝试的工具，您可以快速生成精准的收入分析报表、分析销售流程，并追踪产品各项指标，从而大幅提升工作效率。立即探索，找到最适合您的数据驱动决策工具！238个字符
9 个工具
xix.ai
2026 年最新最佳顶级评分 AI 旋律创作工具，助力歌曲草稿创作！XIX.AI 精心策划了一套极具影响力且经过严格真实世界测试的变革性合集，旨在提供最佳的创作体验。您可以找到详细的免费与付费版对比、精准的排名以及必试选项，这些工具旨在帮助您轻松创作出令人惊艳的歌曲草稿，并显著提升您的创意生产力。立即探索，发现您的完美工具！
8 个工具
xix.ai
2026年最新、最受好评的AI面试模拟训练工具现已登陆XIX.AI！这份精心精选的合集收录了功能强大、具有革命性意义的工具，它们均经过严格的实际测试，能够提供精准的反馈。 您将看到免费版与付费版的对比分析以及详细排名，助您挑选出必试之选，从而提升自信并精进技能。立即探索，发现助您面试成功的完美工具！
12 个工具
xix.ai
2026年最新最佳、评价最高的AI风格转换工具，助您开展创意实验！XIX.AI精心甄选了一系列功能强大、颠覆性的必试工具，这些工具经过实际测试和严格排名，可带来卓越的效果。这些顶级解决方案通过加速内容创作并释放无限创意潜能，帮助创作者显著提升工作效率。 立即探索，找到最适合您的工具，今天就开始创作吧！
9 个工具
xix.ai
2026年最新、最受欢迎的视觉叙事AI对话气泡工具现已登陆XIX.AI！这份精心精选的合集汇集了功能强大、具有颠覆性的工具，可帮助创作者提升工作效率并突破创作瓶颈。 获取免费版与付费版的对比分析，查看实际测试结果，并查阅最新排行榜，找到最适合打造引人入胜的视觉叙事的必试解决方案。立即探索，发现您的理想工具！
10 个工具
xix.ai
Interessant, dass Meta Llama 3.1 als erstes Open-Source-Modell bezeichnet. Aber wer kann so ein riesiges Modell eigentlich sinnvoll nutzen? Für kleine Unternehmen bestimmt zu teuer im Betrieb. 🧐
Wow, Llama 3.1 sounds like a game-changer! Open-source and frontier-level? That’s huge for AI devs. Curious how it stacks up against closed models like GPT-4. 😎
O Llama 3.1 é incrível! Adoro que seja de código aberto, é como ter um superpoder no meu arsenal de programação. No começo pode ser um pouco confuso, mas vale a pena experimentar se você gosta de IA! 🚀
ラマ3.1は本当にすごい！オープンソースで使えるのが最高です。最初は少し圧倒されましたが、慣れると便利です。AIに興味があるなら、ぜひ試してみてください！🚀
¡Llama 3.1 es una bestia! Me encanta que sea de código abierto, es como tener un superpoder en mi arsenal de programación. Al principio puede ser un poco abrumador, pero definitivamente vale la pena probarlo si te interesa la IA! 🚀
¡Llama 3.1 de Meta es una maravilla! Me sorprende cómo están empujando los límites con la IA de código abierto. El rendimiento es genial, pero desearía que hubiera más documentación para principiantes. De todas formas, ¡es una herramienta que hay que probar! 💪
