选项
首页
新闻
Meta揭开了长篇小说侦察兵和特立独行的模型,2T参数庞然大物即将推出!

Meta揭开了长篇小说侦察兵和特立独行的模型,2T参数庞然大物即将推出!

2025-04-16
111

2025年1月,人工智能界掀起波澜,一家鲜为人知的中国特色人工智能初创公司DeepSeek推出了其开创性的开源语言推理模型DeepSeek R1。该模型不仅性能超越了Meta等公司,而且成本仅为传闻中的几百万美元。相比之下,Meta可能仅在几位人工智能团队领导者身上就花费了这么多!这一消息让Meta有些慌乱,尤其是因为他们上个月刚发布的最新Llama模型3.3版已经显得有些过时。

快进到今天,Meta的创始人兼首席执行官马克·扎克伯格在Instagram上宣布推出新的Llama 4系列。该系列包括4000亿参数的Llama 4 Maverick和1090亿参数的Llama 4 Scout,开发者可立即在llama.com和Hugging Face上下载并开始使用。此外,还有一个正在训练中的庞大2万亿参数模型Llama 4 Behemoth的预览,尚未确定发布日期。

多模态和长上下文能力

这些新模型的突出特点是其多模态特性。它们不仅限于文本,还能处理视频和图像。它们的上下文窗口极长——Maverick为100万令牌,Scout更是高达1000万令牌。换句话说,这相当于一次性处理1500页和15000页的文本!想象一下,这对医学、科学或文学等领域处理和生成大量信息的可能性。

专家混合架构

所有三个Llama 4模型都采用了“专家混合(MoE)”架构,这种技术由OpenAI和Mistral等公司推广,备受关注。该方法将多个较小的专业模型组合成一个更大、更高效的模型。每个Llama 4模型由128个不同的专家组成,这意味着每个令牌仅由必要的专家和一个共享专家处理,使模型更具成本效益且运行更快。Meta宣称Llama 4 Maverick可在单个Nvidia H100 DGX主机上运行,部署非常简便。

成本效益和可访问性

Meta致力于让这些模型易于获取。Scout和Maverick均可用于自托管,他们甚至分享了一些诱人的成本估算。例如,Llama 4 Maverick的推理成本在每百万令牌0.19美元至0.49美元之间,相比其他专有模型如GPT-4o,这非常划算。如果您有兴趣通过云提供商使用这些模型,Groq已经提供了具有竞争力的定价。

增强推理和MetaP

这些模型专为推理、编码和问题解决而设计。Meta在训练中采用了一些巧妙技术来提升这些能力,例如移除简单提示并使用持续强化学习,逐步增加提示难度。他们还引入了MetaP,一种新技术,允许在一个模型上设置超参数并将其应用于其他模型,从而节省时间和成本。这对训练像Behemoth这样使用32K GPU并处理超过30万亿令牌的巨型模型尤为重要。

性能与比较

那么,这些模型表现如何?扎克伯格明确表示,他希望开源人工智能引领潮流,Llama 4是朝着这个方向迈出的一大步。虽然它们可能不会在所有方面都创下新的性能记录,但无疑名列前茅。例如,Llama 4 Behemoth在某些基准测试中超越了一些重量级选手,尽管在其他方面仍需追赶DeepSeek R1和OpenAI的o1系列。

Llama 4 Behemoth

  • 在MATH-500(95.0)、GPQA Diamond(73.7)和MMLU Pro(82.2)上超越GPT-4.5、Gemini 2.0 Pro和Claude Sonnet 3.7

Llama 4 Behemoth性能图表

Llama 4 Maverick

  • 在ChartQA、DocVQA、MathVista和MMMU等大多数多模态推理基准测试中击败GPT-4o和Gemini 2.0 Flash
  • 与DeepSeek v3.1竞争,同时使用的活跃参数不到其一半
  • 基准测试得分:ChartQA(90.0)、DocVQA(94.4)、MMLU Pro(80.5)

Llama 4 Maverick性能图表

Llama 4 Scout

  • 在DocVQA(94.4)、MMLU Pro(74.3)和MathVista(70.7)上匹配或超越Mistral 3.1、Gemini 2.0 Flash-Lite和Gemma 3等模型
  • 无与伦比的1000万令牌上下文长度——非常适合长文档和代码库

Llama 4 Scout性能图表

与DeepSeek R1的比较

在顶级竞争中,Llama 4 Behemoth表现出色,但尚未完全超越DeepSeek R1或OpenAI的o1系列。它在MATH-500和MMLU上略逊一筹,但在GPQA Diamond上领先。即便如此,Llama 4显然是推理领域的强劲竞争者。

基准测试Llama 4 BehemothDeepSeek R1OpenAI o1-1217
MATH-50095.097.396.4
GPQA Diamond73.771.575.7
MMLU82.290.891.8

安全性和政治中立性

Meta也没有忽视安全性。他们推出了Llama Guard、Prompt Guard和CyberSecEval等工具以确保安全。他们还强调减少政治偏见,致力于更平衡的方法,特别是在扎克伯格在2024年选举后表示支持共和党政治之后。

Llama 4的未来

通过Llama 4,Meta正在推动人工智能的效率、开放性和性能的边界。无论您是想构建企业级人工智能助手还是深入研究人工智能,Llama 4都提供了强大而灵活的选择,优先考虑推理能力。显然,Meta致力于让人工智能对每个人更易获取且更具影响力。

相关文章
特朗普优先考虑人工智能发展而非监管,力争超越中国 特朗普优先考虑人工智能发展而非监管,力争超越中国 特朗普政府周三公布了具有里程碑意义的《人工智能行动计划》,标志着与拜登政府规避风险的人工智能政策的决裂。这份雄心勃勃的蓝图将积极的基础设施建设、全面的监管改革、强化的国家安全措施以及与中国在人工智能领域的战略竞争列为优先事项。这一政策转变可能会对经济和社会产生广泛影响,尤其是在能源使用和环境监管方面。政府建议扩大数据中心的建设,包括在联邦土地上的建设,同时可能在能源需求高峰期放宽对环境的保护--这
非营利组织利用人工智能代理促进慈善筹款工作 非营利组织利用人工智能代理促进慈善筹款工作 当大型科技公司将人工智能 "代理 "作为企业生产力的助推器进行推广时,一家非营利组织正在展示它们在社会公益方面的潜力。由开放慈善组织(Open Philanthropy)支持的慈善研究机构赛智未来(Sage Future)最近进行了一项创新实验,展示了人工智能模型如何在慈善筹款方面进行合作。该非营利组织在一个模拟数字环境中设置了四个先进的人工智能模型--OpenAI 的 GPT-4o 和 o1
顶级人工智能实验室警告人类正在失去理解人工智能系统的能力 顶级人工智能实验室警告人类正在失去理解人工智能系统的能力 来自 OpenAI、谷歌 DeepMind、Anthropic 和 Meta 的研究人员前所未有地团结起来,搁置竞争分歧,就负责任的人工智能发展发出集体警告。来自这些通常相互竞争的组织的 40 多名顶尖科学家共同撰写了一篇开创性的研究论文,强调确保人工智能决策过程透明度的窗口正在迅速关闭。这次合作的重点是现代人工智能系统的一个关键发展--它们在生成最终输出之前,能够以人类可读的语言阐明推理过程的新
评论 (26)
0/200
OwenLewis
OwenLewis 2025-08-24 21:01:19

Llama 4 sounds like a beast! That 10M token context window is wild—imagine analyzing entire books in one go. But can Meta keep up with DeepSeek’s efficiency? Excited for Behemoth, though! 🚀

RogerSanchez
RogerSanchez 2025-04-25 03:53:44

Llama 4 정말 대단해요! 긴 문맥 스카우트와 마버릭 모델은 놀랍네요. 2T 파라미터의 괴물이 나올 걸 기대하고 있어요. 다만, 설정하는 게 좀 복잡해요. 그래도, AI의 미래가 밝아 보이네요! 🚀

WillieHernández
WillieHernández 2025-04-24 08:21:23

Llama 4はすごい!長いコンテキストのスカウトやマーベリックモデルは驚異的。2Tパラメータのビーストが出るのを待ちきれない。ただ、設定が少し大変かな。でも、これでAIの未来は明るいね!🚀

GregoryWilson
GregoryWilson 2025-04-23 01:23:39

MetaのLlama 4は最高ですね!長いコンテキストをスムーズに処理できるのが本当に便利。マーベリックモデルも面白いけど、2Tパラメータのモデルが来るのが楽しみです!🤩✨

BrianThomas
BrianThomas 2025-04-22 14:27:50

O Llama 4 da Meta é incrível! A função de contexto longo é uma mão na roda para minhas pesquisas. Os modelos Maverick também são legais, mas estou ansioso pelo modelo de 2T parâmetros. Mal posso esperar para ver o que ele pode fazer! 🤯🚀

JohnGarcia
JohnGarcia 2025-04-22 11:11:00

Acabo de enterarme de Llama 4 de Meta y ¡es una locura! ¡2T parámetros! Espero que no sea solo hype, pero si cumple con las expectativas, va a ser increíble. ¿Alguien ya lo ha probado? ¡Quiero saber más! 😎

返回顶部
OR