メタは、長いコンテキストスカウトとマーベリックモデルでラマ4を発表します。

2025年1月に、AIの世界は、比較的未知の中国のAIスタートアップであるDeepseekが、画期的なオープンソース言語推論モデルであるDeepseek R1でガントレットを投げたときに揺れ動きました。このモデルは、メタのようなものを上回っただけでなく、わずか数百万ドルであると不明なコストでそうしました。それは、メタがそのAIチームリーダーの数人に費やす可能性のある一種の予算です！このニュースは、特に最新のLlamaモデルであるバージョン3.3が1か月前にリリースされて以来、メタを少し狂乱にしました。

今日に早送りし、メタの創設者兼CEOであるマーク・ザッカーバーグがInstagramに連れて行き、新しいLlama 4シリーズの発売を発表しました。このシリーズには、400億パラメーターのLlama 4 Maverickと1,000億パラメーターLlama 4 Scoutが含まれています。また、2〜2兆億兆個のパラメーターモデルであるLlama 4 Behemoth、まだトレーニング中のスニークピークがあり、リリース日が見えません。

マルチモーダルおよびロングコンテキスト機能

これらの新しいモデルの傑出した特徴の1つは、マルチモーダルの性質です。彼らはテキストだけではありません。彼らはビデオと画像も扱うことができます。そして、彼らには信じられないほど長いコンテキストの窓があります。マーベリックには100万トークン、スカウトはなんと1000万トークンです。それを見ると、それは一度に最大1,500ページと15,000ページのテキストを処理するようなものです！膨大な量の情報を処理および生成するために必要な医学、科学、文学などの分野の可能性を想像してください。

混合物のアーキテクチャ

3つのLlama 4モデルはすべて、OpenaiやMistralなどの企業で普及している「Experts（MOE）の混合（MOE）」アーキテクチャを採用しています。このアプローチは、複数の小さく、専門化されたモデルを1つのより大きく、より効率的なモデルに組み合わせています。各llama 4モデルは128人の異なる専門家の組み合わせです。これは、必要な専門家と各トークンのハンドルを共有する1つのハンドルのみを意味し、モデルをより費用対効果が高く、実行しやすくします。 Metaは、Llama 4 Maverickを単一のNvidia H100 DGXホストで実行し、展開を簡単にすることができると自慢しています。

費用対効果とアクセス可能

メタとは、これらのモデルにアクセスできるようにすることです。 ScoutとMaverickはどちらも自己ホーストに利用でき、魅力的なコストの見積もりを共有しています。たとえば、Llama 4 Maverickの推論コストは、100トークンあたり0.19ドルから0.49ドルです。これは、GPT-4oのような他の独自モデルと比較して盗みです。また、クラウドプロバイダーを介してこれらのモデルを使用することに興味がある場合、GROQはすでに競争力のある価格設定を強化しています。

強化された推論とメタップ

これらのモデルは、推論、コーディング、問題解決を念頭に置いて構築されています。メタは、トレーニング中にいくつかの巧妙なテクニックを使用して、簡単なプロンプトを削除したり、ますます困難なプロンプトで継続的な補強学習を使用するなど、これらの機能を高めるために使用しました。また、メタップは、1つのモデルにハイパーパラメーターを設定し、他のモデルに適用して時間とお金を節約できる新しい手法であるメタップを導入しました。それはゲームチェンジャーです。特に、32K GPUを使用し、30兆個以上のトークンをプロセスするBehemothのようなモンスターをトレーニングするためのものです。

パフォーマンスと比較

それでは、これらのモデルはどのように積み重ねられますか？ Zuckerbergは、充電をリードするオープンソースAIに対する彼のビジョンについて明確であり、Llama 4はその方向への大きな一歩です。彼らは全面的に新しいパフォーマンスレコードを設定しないかもしれませんが、彼らは確かに彼らのクラスのトップに近いです。たとえば、Llama 4 Behemothは、特定のベンチマークでいくつかの重い打者を上回りますが、他のベンチマークとOpenaiのO1シリーズでまだキャッチアップしています。

llama 4 Behemoth

• Math-500（95.0）、GPQA Diamond（73.7）、およびMMLU Pro（82.2）のGPT-4.5、Gemini 2.0 Pro、およびClaude Sonnet 3.7を上回る

ラマ4マーベリック

• Chartqa、Docvqa、Mathvista、Mmmuなどのほとんどのマルチモーダル推論ベンチマークでGPT-4OとGEMINI 2.0のフラッシュ
• Active Parametersの半分未満を使用しながら、Deepseek v3.1との競争
• ベンチマークスコア：Chartqa（90.0）、docvqa（94.4）、MMLU Pro（80.5）

ラマ4スカウト

• Mistral 3.1、Gemini 2.0 Flash-lite、Gemma 3のDOCVQA（94.4）、MMLU Pro（74.3）、Mathvista（70.7）などのモデルをマッチまたはアウトパフォームします
• 比類のない10mトークンコンテキストの長さ - 長いドキュメントとコードベースのためのideal

DeepSeek R1との比較

ビッグリーグに関しては、Llama 4 Behemothは独自のものを保持していますが、Deepseek R1またはOpenaiのO1シリーズを完全に退位させません。 Math-500とMMLUで少し遅れていますが、GPQAダイヤモンドで先に進んでいます。それでも、Llama 4が推論空間の強力な競争相手であることは明らかです。

安全性と政治的中立性

メタも安全を忘れていません。彼らは、ラマガード、プロンプトガード、サイバーセバルなどのツールを導入して、物事を上昇させておきます。そして、彼らは、特に2024年の選挙後の共和党政治に対するザッカーバーグが顕著に支持した後、よりバランスのとれたアプローチを目指して、政治的偏見を減らすことについて主張しています。

ラマ4の未来

Llama 4を使用すると、MetaはAIの効率、開放性、パフォーマンスの境界を押し広げています。エンタープライズレベルのAIアシスタントを構築する場合でも、AIの研究に深く入り込む場合でも、Llama 4は推論に優先する強力で柔軟なオプションを提供します。メタがAIを誰にとってもよりアクセスしやすくインパクトのあるものにすることに取り組んでいることは明らかです。