Meta는 긴 상황에 맞는 스카우트와 매버릭 모델로 Llama 4를 공개합니다.

2025년 1월, AI 업계는 비교적 알려지지 않은 중국 AI 스타트업 DeepSeek이 획기적인 오픈소스 언어 추론 모델 DeepSeek R1을 발표하며 큰 충격을 받았다. 이 모델은 Meta를 비롯한 주요 기업들을 능가했을 뿐만 아니라, 그 비용은 불과 몇 백만 달러에 불과한 것으로 알려졌다. 이는 Meta가 AI 팀 리더 몇 명에게 지출하는 예산에 해당하는 금액이다! 이 소식은 Meta를 약간의 혼란에 빠뜨렸다. 특히 그들의 최신 Llama 모델, 버전 3.3이 한 달 전에 출시되었음에도 불구하고 이미 다소 구식으로 보였기 때문이다.

오늘로 빠르게 넘어와, Meta의 창립자이자 CEO인 Mark Zuckerberg는 Instagram을 통해 새로운 Llama 4 시리즈의 출시를 발표했다. 이 시리즈에는 4000억 파라미터의 Llama 4 Maverick과 1090억 파라미터의 Llama 4 Scout이 포함되며, 개발자들은 즉시 llama.com과 Hugging Face에서 다운로드하여 사용해볼 수 있다. 또한, 아직 훈련 중인 거대한 2조 파라미터 모델 Llama 4 Behemoth의 미리보기도 공개되었으나, 출시 날짜는 아직 정해지지 않았다.

다중 모달 및 장문 맥락 기능

이 새로운 모델들의 두드러진 특징 중 하나는 다중 모달 성격이다. 이들은 단순히 텍스트뿐만 아니라 비디오와 이미지도 처리할 수 있다. 또한, Maverick의 경우 100만 토큰, Scout의 경우 놀라운 1000만 토큰의 매우 긴 맥락 창을 제공한다. 이를 직관적으로 설명하자면, 한 번에 최대 1500페이지와 1만 5000페이지의 텍스트를 처리할 수 있는 셈이다! 의학, 과학, 문학 등 방대한 정보를 처리하고 생성해야 하는 분야에서의 가능성을 상상해보라.

전문가 혼합 아키텍처

세 가지 Llama 4 모델 모두 "전문가 혼합(MoE)" 아키텍처를 채택했으며, 이는 OpenAI와 Mistral 같은 회사들이 대중화시킨 기술이다. 이 접근법은 여러 개의 작고 전문화된 모델을 하나로 결합하여 더 효율적인 대형 모델을 만든다. 각 Llama 4 모델은 128개의 서로 다른 전문가로 구성되며, 이는 각 토큰을 필요한 전문가와 공유된 전문가만 처리하여 모델을 더 비용 효율적이고 빠르게 실행할 수 있게 한다. Meta는 Llama 4 Maverick이 단일 Nvidia H100 DGX 호스트에서 실행될 수 있다고 자랑하며, 배포가 매우 쉬워졌다고 밝혔다.

비용 효율적이고 접근 가능

Meta는 이 모델들을 누구나 쉽게 이용할 수 있도록 하는 데 집중하고 있다. Scout과 Maverick은 자체 호스팅이 가능하며, 심지어 매력적인 비용 추정치도 공유했다. 예를 들어, Llama 4 Maverick의 추론 비용은 백만 토큰당 0.19달러에서 0.49달러 사이로, GPT-4o 같은 독점 모델에 비해 매우 저렴하다. 또한, 클라우드 제공자를 통해 이 모델들을 사용하고 싶다면, Groq가 이미 경쟁력 있는 가격을 제시했다.

향상된 추론 및 MetaP

이 모델들은 추론, 코딩, 문제 해결을 염두에 두고 설계되었다. Meta는 훈련 중 쉬운 프롬프트를 제거하고 점점 더 어려운 프롬프트로 연속적인 강화 학습을 사용하는 등 몇 가지 영리한 기술을 사용해 이러한 능력을 강화했다. 또한, 한 모델에서 하이퍼파라미터를 설정하고 이를 다른 모델에 적용할 수 있는 새로운 기술 MetaP를 도입하여 시간과 비용을 절약했다. 이는 32K GPU를 사용하고 30조 토큰 이상을 처리하는 Behemoth 같은 괴물을 훈련시키는 데 특히 획기적이다.

성능 및 비교

그렇다면 이 모델들의 성능은 어떨까? Zuckerberg는 오픈소스 AI가 선두를 달리는 비전을 분명히 했으며, Llama 4는 그 방향으로 큰 걸음을 내디뎠다. 모든 벤치마크에서 새로운 기록을 세우지는 못했지만, 확실히 상위권에 속한다. 예를 들어, Llama 4 Behemoth는 특정 벤치마크에서 일부 강자들을 능가하지만, DeepSeek R1과 OpenAI의 o1 시리즈에는 일부에서 뒤처진다.

Llama 4 Behemoth

• MATH-500 (95.0), GPQA Diamond (73.7), MMLU Pro (82.2)에서 GPT-4.5, Gemini 2.0 Pro, Claude Sonnet 3.7을 능가

Llama 4 Maverick

• ChartQA, DocVQA, MathVista, MMMU와 같은 대부분의 다중 모달 추론 벤치마크에서 GPT-4o와 Gemini 2.0 Flash를 능가
• 활성 파라미터의 절반 이하를 사용하면서도 DeepSeek v3.1과 경쟁
• 벤치마크 점수: ChartQA (90.0), DocVQA (94.4), MMLU Pro (80.5)

Llama 4 Scout

• DocVQA (94.4), MMLU Pro (74.3), MathVista (70.7)에서 Mistral 3.1, Gemini 2.0 Flash-Lite, Gemma 3 같은 모델들과 동등하거나 능가
• 비교할 수 없는 1000만 토큰 맥락 길이—긴 문서와 코드베이스에 이상적

DeepSeek R1과의 비교

최고 무대에서 Llama 4 Behemoth는 제 몫을 하지만 DeepSeek R1이나 OpenAI의 o1 시리즈를 완전히 제치지는 못한다. MATH-500과 MMLU에서는 약간 뒤처지지만, GPQA Diamond에서는 앞선다. 그래도 Llama 4가 추론 분야에서 강력한 경쟁자임은 분명하다.

안전성 및 정치적 중립성

Meta는 안전성도 잊지 않았다. Llama Guard, Prompt Guard, CyberSecEval 같은 도구를 도입해 올바른 방향으로 유지하고 있다. 또한, 2024년 선거 이후 Zuckerberg의 공화당 정치에 대한 지지 발언 이후 정치적 편향을 줄이고 더 균형 잡힌 접근을 목표로 하고 있다.

Llama 4의 미래

Llama 4로 Meta는 AI의 효율성, 개방성, 성능의 경계를 넓히고 있다. 엔터프라이즈급 AI 어시스턴트를 구축하거나 AI 연구에 깊이 파고들고 싶다면, Llama 4는 추론을 우선시하는 강력하고 유연한 옵션을 제공한다. Meta가 AI를 모두에게 더 접근 가능하고 영향력 있게 만들기 위해 헌신하고 있음은 분명하다.