Meta는 긴 상황에 맞는 스카우트와 매버릭 모델로 Llama 4를 공개합니다.
2025년 4월 16일
HenryWalker
59
2025 년 1 월에, AI 세계는 비교적 알려지지 않은 중국 AI 스타트 업인 Deepseek가 획기적인 오픈 소스 언어 추론 모델 인 Deepseek R1로 건틀릿을 던 졌을 때 흔들렸다. 이 모델은 메타와 같은 성능을 능가했을뿐만 아니라 비용의 일부로 그랬습니다. 그것은 AI 팀 리더 몇 명만에 소비 할 수있는 예산 메타의 종류입니다! 이 뉴스는 메타를 약간의 열광으로 보냈습니다. 특히 최신 LLAMA 모델 인 버전 3.3이 한 달 만에 발표 된 이후 이미 약간 날짜가 생겼습니다.
오늘으로 빨리 앞으로 나아가고 Meta의 창립자이자 CEO 인 Mark Zuckerberg는 Instagram에 New Llama 4 시리즈의 출시를 발표했습니다. 이 시리즈에는 400 억 파라미터 Llama 4 Maverick과 109 억 파라미터 Llama 4 Scout이 포함되어 있으며 개발자는 Llama.com 및 Hugging Face에서 즉시 다운로드하여 땜질을 시작할 수 있습니다. 또한 릴리스 날짜가 전지되지 않고 여전히 훈련중인 Colossal 2 조 매개 변수 모델 인 Llama 4 Behemoth에서 몰래 엿볼 수 있습니다.
멀티 모달 및 장기 텍스트 기능
이 새로운 모델의 눈에 띄는 기능 중 하나는 멀티 모달 특성입니다. 그들은 단지 텍스트에 관한 것이 아닙니다. 그들은 비디오와 이미지도 처리 할 수 있습니다. 그리고 그들은 엄청나게 긴 맥락 창 (Maverick)의 1 백만 토큰과 스카우트를 위해 1 천만 건의 토큰을 제공합니다. 이를 원근법으로 말하면 한 번에 최대 1,500 및 15,000 페이지의 텍스트를 처리하는 것과 같습니다! 방대한 양의 정보를 처리하고 생성 해야하는 의학, 과학 또는 문헌과 같은 분야의 가능성을 상상해보십시오.
혼합 경험 아키텍처
3 개의 라마 4 모델 모두 Openai 및 Mistral과 같은 회사에서 대중화 된 파도를 만드는 기술인 "Mix-of-Experts (Moe)"아키텍처를 사용합니다. 이 접근법은 여러 개의 작고 전문화 된 모델을 하나의 더 크고 효율적인 모델로 결합합니다. 각 LLAMA 4 모델은 128 개의 다른 전문가의 혼합이며, 이는 필요한 전문가와 각 토큰을 공유 한 핸들만을 의미하므로 모델을보다 비용 효율적이고 더 빠르게 실행할 수 있습니다. 메타는 LLAMA 4 MAVERICK가 단일 NVIDIA H100 DGX 호스트에서 실행할 수 있으며 배포를 산들 바람으로 만듭니다.
비용 효율적이고 액세스 가능
메타는 이러한 모델에 액세스 할 수 있도록하는 것입니다. 스카우트와 매버릭은 모두 자체 호스팅을 할 수 있으며 일부 유혹 비용 추정치도 공유했습니다. 예를 들어, LLAMA 4 MAVERICK의 추론 비용은 백만 달러당 $ 0.19에서 $ 0.49 사이이며, 이는 GPT-4O와 같은 다른 독점 모델에 비해 도둑질입니다. 클라우드 제공 업체를 통해 이러한 모델을 사용하는 데 관심이 있다면 Groq는 이미 경쟁력있는 가격을 발전 시켰습니다.
강화 된 추론 및 메타 랩
이 모델은 추론, 코딩 및 문제 해결을 염두에두고 구축됩니다. Meta는 훈련 중에 몇 가지 영리한 기술을 사용하여 쉬운 프롬프트 제거 및 점점 어려운 프롬프트와 함께 지속적인 강화 학습을 사용하는 등 이러한 기능을 향상 시켰습니다. 그들은 또한 한 모델에서 하이퍼 파라미터를 설정하고 다른 사람들에게 적용하여 시간과 돈을 절약 할 수있는 새로운 기술 인 Metap을 소개했습니다. 그것은 게임 체인저입니다. 특히 32k GPU를 사용하고 30 조의 토큰이 넘는 프로세스를 사용하는 Behemoth와 같은 몬스터를 훈련시키는 데있어 게임 체인저입니다.
성능 및 비교
그렇다면이 모델은 어떻게 쌓입니까? Zuckerberg는 오픈 소스 AI에 대한 그의 비전에 대해 분명했으며 Llama 4는 그 방향의 큰 단계입니다. 그들은 전반적으로 새로운 성과 기록을 설정하지 않을 수도 있지만, 확실히 수업의 정상에 가까워졌습니다. 예를 들어, Llama 4 Behemoth는 특정 벤치 마크에서 일부 무거운 타자를 능가하지만 여전히 DeepSeek R1 및 OpenAi의 O1 시리즈와 함께 캐치 업을하고 있습니다.
llama 4 Behemoth
- Math-500 (95.0), GPQA 다이아몬드 (73.7) 및 MMLU Pro (82.2)의 GPT-4.5, Gemini 2.0 Pro 및 Claude Sonnet 3.7보다 우수합니다.
라마 4 매버릭
- ChartQA, DocVQA, Mathvista 및 MMMU와 같은 대부분의 멀티 모달 추론 벤치 마크에서 GPT-4O 및 Gemini 2.0 플래시를 비트
- 활성 매개 변수의 절반 미만을 사용하면서 DeepSeek v3.1과 경쟁
- 벤치 마크 점수 : ChartQA (90.0), DocVQA (94.4), MMLU Pro (80.5)
라마 4 스카우트
- DOCVQA (94.4), MMLU Pro (74.3) 및 MathVista (70.7)의 Mistral 3.1, Gemini 2.0 Flash-Lite 및 Gemma 3과 같은 모델을 성냥 또는 성능
- 타의 추종없는 10m 토큰 컨텍스트 길이 - 긴 문서 및 코드베이스의 경우
DeepSeek R1과 비교
빅 리그에 관해서는 Llama 4 Behemoth는 자체적으로 보유하고 있지만 Deepseek R1 또는 Openai의 O1 시리즈를 상당히 제거하지는 않습니다. Math-500과 MMLU에서 약간 뒤떨어졌지만 GPQA 다이아몬드는 앞서 있습니다. 그럼에도 불구하고 라마 4가 추론 공간에서 강력한 경쟁자라는 것은 분명합니다.
기준 llama 4 Behemoth Deepseek R1 Openai O1-1217 Math-500 95.0 97.3 96.4 GPQA 다이아몬드 73.7 71.5 75.7 MMLU 82.2 90.8 91.8
안전 및 정치 중립
메타는 안전에 대해 잊어 버리지 않았습니다. 그들은 Llama Guard, Prompt Guard 및 Cyberseceval과 같은 도구를 소개하여 물건을 올려 놓았습니다. 그리고 그들은 특히 주커 버그가 20124 년 선거 이후 공화당 정치에 대한지지를 얻은 후,보다 균형 잡힌 접근을 목표로 정치적 편견을 줄이는 것에 대해 지적하고있다.
라마 4의 미래
LLAMA 4를 사용하면 Meta는 AI의 효율성, 개방성 및 성능의 경계를 높이고 있습니다. LLAMA 4는 엔터프라이즈 수준 AI 비서를 구축하든 AI 연구에 깊이 빠져들려고하든, LLAMA 4는 추론 우선 순위를 정하는 강력하고 유연한 옵션을 제공합니다. 메타는 AI가 모든 사람에게보다 접근 가능하고 영향을 미치기 위해 최선을 다하고 있음이 분명합니다.
관련 기사
Former DeepSeeker and collaborators release new method for training reliable AI agents: RAGEN
The Year of AI Agents: A Closer Look at 2025's Expectations and Realities2025 was heralded by many experts as the year when AI agents—specialized AI systems powered by advanced large language and multimodal models from companies like OpenAI, Anthropic, Google, and DeepSeek—would finally take center
GAIA Introduces New Benchmark in Quest for True Intelligence Beyond ARC-AGI
Intelligence is everywhere, yet gauging it accurately feels like trying to catch a cloud with your bare hands. We use tests and benchmarks, like college entrance exams, to get a rough idea. Each year, students cram for these tests, sometimes even scoring a perfect 100%. But does that perfect score m
How we’re using AI to help cities tackle extreme heat
It's looking like 2024 might just break the record for the hottest year yet, surpassing 2023. This trend is particularly tough on folks living in urban heat islands—those spots in cities where concrete and asphalt soak up the sun's rays and then radiate the heat right back out. These areas can warm
의견 (20)
0/200
![TimothyEvans]()
TimothyEvans
2025년 4월 19일 오전 4시 25분 17초 GMT
Just heard about Meta's Llama 4 and it sounds insane! 2T parameters? That's a monster! Can't wait to see how it performs compared to DeepSeek R1. Hope it's not just hype, but if it lives up to the buzz, it's gonna be 🔥! Anyone tried it yet?
0
![EricJohnson]()
EricJohnson
2025년 4월 17일 오후 12시 34분 32초 GMT
メタのラマ4、2Tパラメータって聞いてびっくり！ディープシークR1と比べてどんな感じなのか楽しみ。期待が大きいだけに、実際に使ってみないとわからないけど、期待してるよ！誰かもう試した？😊
0
![JohnGarcia]()
JohnGarcia
2025년 4월 22일 오전 3시 11분 0초 GMT
Acabo de enterarme de Llama 4 de Meta y ¡es una locura! ¡2T parámetros! Espero que no sea solo hype, pero si cumple con las expectativas, va a ser increíble. ¿Alguien ya lo ha probado? ¡Quiero saber más! 😎
0
![NicholasLewis]()
NicholasLewis
2025년 4월 21일 오후 1시 31분 17초 GMT
Acabei de ouvir sobre o Llama 4 da Meta e parece insano! 2T parâmetros? Isso é um monstro! Mal posso esperar para ver como se compara ao DeepSeek R1. Espero que não seja só hype, mas se corresponder ao burburinho, vai ser 🔥! Alguém já testou?
0
![PaulGonzalez]()
PaulGonzalez
2025년 4월 21일 오전 10시 16분 18초 GMT
Gerade von Meta's Llama 4 gehört und es klingt verrückt! 2T Parameter? Das ist ein Riese! Kann es kaum erwarten zu sehen, wie es sich im Vergleich zu DeepSeek R1 schlägt. Hoffentlich ist es nicht nur Hype, aber wenn es dem Rummel gerecht wird, wird es 🔥! Jemand schon ausprobiert?
0
![IsabellaDavis]()
IsabellaDavis
2025년 4월 18일 오후 12시 35분 20초 GMT
Meta's Llama 4 is a beast! The long context scout feature is a game-changer for my research. The Maverick models are cool too, but I'm really waiting for that 2T parameter model. Can't wait to see what it can do! 🤓🚀
0
2025년 4월 16일
HenryWalker
59
2025 년 1 월에, AI 세계는 비교적 알려지지 않은 중국 AI 스타트 업인 Deepseek가 획기적인 오픈 소스 언어 추론 모델 인 Deepseek R1로 건틀릿을 던 졌을 때 흔들렸다. 이 모델은 메타와 같은 성능을 능가했을뿐만 아니라 비용의 일부로 그랬습니다. 그것은 AI 팀 리더 몇 명만에 소비 할 수있는 예산 메타의 종류입니다! 이 뉴스는 메타를 약간의 열광으로 보냈습니다. 특히 최신 LLAMA 모델 인 버전 3.3이 한 달 만에 발표 된 이후 이미 약간 날짜가 생겼습니다.
오늘으로 빨리 앞으로 나아가고 Meta의 창립자이자 CEO 인 Mark Zuckerberg는 Instagram에 New Llama 4 시리즈의 출시를 발표했습니다. 이 시리즈에는 400 억 파라미터 Llama 4 Maverick과 109 억 파라미터 Llama 4 Scout이 포함되어 있으며 개발자는 Llama.com 및 Hugging Face에서 즉시 다운로드하여 땜질을 시작할 수 있습니다. 또한 릴리스 날짜가 전지되지 않고 여전히 훈련중인 Colossal 2 조 매개 변수 모델 인 Llama 4 Behemoth에서 몰래 엿볼 수 있습니다.
멀티 모달 및 장기 텍스트 기능
이 새로운 모델의 눈에 띄는 기능 중 하나는 멀티 모달 특성입니다. 그들은 단지 텍스트에 관한 것이 아닙니다. 그들은 비디오와 이미지도 처리 할 수 있습니다. 그리고 그들은 엄청나게 긴 맥락 창 (Maverick)의 1 백만 토큰과 스카우트를 위해 1 천만 건의 토큰을 제공합니다. 이를 원근법으로 말하면 한 번에 최대 1,500 및 15,000 페이지의 텍스트를 처리하는 것과 같습니다! 방대한 양의 정보를 처리하고 생성 해야하는 의학, 과학 또는 문헌과 같은 분야의 가능성을 상상해보십시오.
혼합 경험 아키텍처
3 개의 라마 4 모델 모두 Openai 및 Mistral과 같은 회사에서 대중화 된 파도를 만드는 기술인 "Mix-of-Experts (Moe)"아키텍처를 사용합니다. 이 접근법은 여러 개의 작고 전문화 된 모델을 하나의 더 크고 효율적인 모델로 결합합니다. 각 LLAMA 4 모델은 128 개의 다른 전문가의 혼합이며, 이는 필요한 전문가와 각 토큰을 공유 한 핸들만을 의미하므로 모델을보다 비용 효율적이고 더 빠르게 실행할 수 있습니다. 메타는 LLAMA 4 MAVERICK가 단일 NVIDIA H100 DGX 호스트에서 실행할 수 있으며 배포를 산들 바람으로 만듭니다.
비용 효율적이고 액세스 가능
메타는 이러한 모델에 액세스 할 수 있도록하는 것입니다. 스카우트와 매버릭은 모두 자체 호스팅을 할 수 있으며 일부 유혹 비용 추정치도 공유했습니다. 예를 들어, LLAMA 4 MAVERICK의 추론 비용은 백만 달러당 $ 0.19에서 $ 0.49 사이이며, 이는 GPT-4O와 같은 다른 독점 모델에 비해 도둑질입니다. 클라우드 제공 업체를 통해 이러한 모델을 사용하는 데 관심이 있다면 Groq는 이미 경쟁력있는 가격을 발전 시켰습니다.
강화 된 추론 및 메타 랩
이 모델은 추론, 코딩 및 문제 해결을 염두에두고 구축됩니다. Meta는 훈련 중에 몇 가지 영리한 기술을 사용하여 쉬운 프롬프트 제거 및 점점 어려운 프롬프트와 함께 지속적인 강화 학습을 사용하는 등 이러한 기능을 향상 시켰습니다. 그들은 또한 한 모델에서 하이퍼 파라미터를 설정하고 다른 사람들에게 적용하여 시간과 돈을 절약 할 수있는 새로운 기술 인 Metap을 소개했습니다. 그것은 게임 체인저입니다. 특히 32k GPU를 사용하고 30 조의 토큰이 넘는 프로세스를 사용하는 Behemoth와 같은 몬스터를 훈련시키는 데있어 게임 체인저입니다.
성능 및 비교
그렇다면이 모델은 어떻게 쌓입니까? Zuckerberg는 오픈 소스 AI에 대한 그의 비전에 대해 분명했으며 Llama 4는 그 방향의 큰 단계입니다. 그들은 전반적으로 새로운 성과 기록을 설정하지 않을 수도 있지만, 확실히 수업의 정상에 가까워졌습니다. 예를 들어, Llama 4 Behemoth는 특정 벤치 마크에서 일부 무거운 타자를 능가하지만 여전히 DeepSeek R1 및 OpenAi의 O1 시리즈와 함께 캐치 업을하고 있습니다.
llama 4 Behemoth
- Math-500 (95.0), GPQA 다이아몬드 (73.7) 및 MMLU Pro (82.2)의 GPT-4.5, Gemini 2.0 Pro 및 Claude Sonnet 3.7보다 우수합니다.
라마 4 매버릭
- ChartQA, DocVQA, Mathvista 및 MMMU와 같은 대부분의 멀티 모달 추론 벤치 마크에서 GPT-4O 및 Gemini 2.0 플래시를 비트
- 활성 매개 변수의 절반 미만을 사용하면서 DeepSeek v3.1과 경쟁
- 벤치 마크 점수 : ChartQA (90.0), DocVQA (94.4), MMLU Pro (80.5)
라마 4 스카우트
- DOCVQA (94.4), MMLU Pro (74.3) 및 MathVista (70.7)의 Mistral 3.1, Gemini 2.0 Flash-Lite 및 Gemma 3과 같은 모델을 성냥 또는 성능
- 타의 추종없는 10m 토큰 컨텍스트 길이 - 긴 문서 및 코드베이스의 경우
DeepSeek R1과 비교
빅 리그에 관해서는 Llama 4 Behemoth는 자체적으로 보유하고 있지만 Deepseek R1 또는 Openai의 O1 시리즈를 상당히 제거하지는 않습니다. Math-500과 MMLU에서 약간 뒤떨어졌지만 GPQA 다이아몬드는 앞서 있습니다. 그럼에도 불구하고 라마 4가 추론 공간에서 강력한 경쟁자라는 것은 분명합니다.
| 기준 | llama 4 Behemoth | Deepseek R1 | Openai O1-1217 |
|---|---|---|---|
| Math-500 | 95.0 | 97.3 | 96.4 |
| GPQA 다이아몬드 | 73.7 | 71.5 | 75.7 |
| MMLU | 82.2 | 90.8 | 91.8 |
안전 및 정치 중립
메타는 안전에 대해 잊어 버리지 않았습니다. 그들은 Llama Guard, Prompt Guard 및 Cyberseceval과 같은 도구를 소개하여 물건을 올려 놓았습니다. 그리고 그들은 특히 주커 버그가 20124 년 선거 이후 공화당 정치에 대한지지를 얻은 후,보다 균형 잡힌 접근을 목표로 정치적 편견을 줄이는 것에 대해 지적하고있다.
라마 4의 미래
LLAMA 4를 사용하면 Meta는 AI의 효율성, 개방성 및 성능의 경계를 높이고 있습니다. LLAMA 4는 엔터프라이즈 수준 AI 비서를 구축하든 AI 연구에 깊이 빠져들려고하든, LLAMA 4는 추론 우선 순위를 정하는 강력하고 유연한 옵션을 제공합니다. 메타는 AI가 모든 사람에게보다 접근 가능하고 영향을 미치기 위해 최선을 다하고 있음이 분명합니다.
Former DeepSeeker and collaborators release new method for training reliable AI agents: RAGEN
The Year of AI Agents: A Closer Look at 2025's Expectations and Realities2025 was heralded by many experts as the year when AI agents—specialized AI systems powered by advanced large language and multimodal models from companies like OpenAI, Anthropic, Google, and DeepSeek—would finally take center
GAIA Introduces New Benchmark in Quest for True Intelligence Beyond ARC-AGI
Intelligence is everywhere, yet gauging it accurately feels like trying to catch a cloud with your bare hands. We use tests and benchmarks, like college entrance exams, to get a rough idea. Each year, students cram for these tests, sometimes even scoring a perfect 100%. But does that perfect score m
How we’re using AI to help cities tackle extreme heat
It's looking like 2024 might just break the record for the hottest year yet, surpassing 2023. This trend is particularly tough on folks living in urban heat islands—those spots in cities where concrete and asphalt soak up the sun's rays and then radiate the heat right back out. These areas can warm
2025년 4월 19일 오전 4시 25분 17초 GMT
Just heard about Meta's Llama 4 and it sounds insane! 2T parameters? That's a monster! Can't wait to see how it performs compared to DeepSeek R1. Hope it's not just hype, but if it lives up to the buzz, it's gonna be 🔥! Anyone tried it yet?
0
2025년 4월 17일 오후 12시 34분 32초 GMT
メタのラマ4、2Tパラメータって聞いてびっくり！ディープシークR1と比べてどんな感じなのか楽しみ。期待が大きいだけに、実際に使ってみないとわからないけど、期待してるよ！誰かもう試した？😊
0
2025년 4월 22일 오전 3시 11분 0초 GMT
Acabo de enterarme de Llama 4 de Meta y ¡es una locura! ¡2T parámetros! Espero que no sea solo hype, pero si cumple con las expectativas, va a ser increíble. ¿Alguien ya lo ha probado? ¡Quiero saber más! 😎
0
2025년 4월 21일 오후 1시 31분 17초 GMT
Acabei de ouvir sobre o Llama 4 da Meta e parece insano! 2T parâmetros? Isso é um monstro! Mal posso esperar para ver como se compara ao DeepSeek R1. Espero que não seja só hype, mas se corresponder ao burburinho, vai ser 🔥! Alguém já testou?
0
2025년 4월 21일 오전 10시 16분 18초 GMT
Gerade von Meta's Llama 4 gehört und es klingt verrückt! 2T Parameter? Das ist ein Riese! Kann es kaum erwarten zu sehen, wie es sich im Vergleich zu DeepSeek R1 schlägt. Hoffentlich ist es nicht nur Hype, aber wenn es dem Rummel gerecht wird, wird es 🔥! Jemand schon ausprobiert?
0
2025년 4월 18일 오후 12시 35분 20초 GMT
Meta's Llama 4 is a beast! The long context scout feature is a game-changer for my research. The Maverick models are cool too, but I'm really waiting for that 2T parameter model. Can't wait to see what it can do! 🤓🚀
0
