メタは、長いコンテキストスカウトとマーベリックモデルでラマ4を発表します。
2025年1月、AI業界は比較的知られていない中国のAIスタートアップ、DeepSeekが革新的なオープンソースの言語推論モデル、DeepSeek R1を発表したことで震撼しました。このモデルはMetaを凌駕するだけでなく、わずか数百万ドルという低コストでそれを実現しました—これはMetaがAIチームのリーダー数人に費やす予算に相当します！このニュースは、Metaが前月にリリースした最新のLlamaモデル、バージョン3.3がすでにやや時代遅れに見えていたこともあり、Metaを少々慌てさせました。
現在に早送りすると、Metaの創設者兼CEOであるマーク・ザッカーバーグはInstagramで新しいLlama 4シリーズの発売を発表しました。このシリーズには、4000億パラメータのLlama 4 Maverickと1090億パラメータのLlama 4 Scoutが含まれており、どちらも開発者がllama.comやHugging Faceで即座にダウンロードして試すことができます。また、2兆パラメータの巨大なモデル、Llama 4 Behemothのプレビューも公開されていますが、これはまだトレーニング中で、リリース日は未定です。
マルチモーダルおよび長コンテキスト機能
これらの新モデルの際立つ特徴の一つは、マルチモーダルな性質です。テキストだけでなく、ビデオや画像も処理できます。さらに、非常に長いコンテキストウィンドウを備えています—Maverickは100万トークン、Scoutに至っては驚異の1000万トークンです。例えるなら、一度に1500ページや1万5000ページのテキストを処理できるということです！医療、科学、文学など、大量の情報を処理・生成する必要がある分野での可能性を想像してみてください。
エキスパート混合アーキテクチャ
Llama 4の3つのモデルはすべて「エキスパート混合（MoE）」アーキテクチャを採用しており、これはOpenAIやMistralなどの企業によって注目を集めている技術です。このアプローチは、複数の小さな専門モデルを1つの大きな効率的なモデルに統合します。各Llama 4モデルは128の異なるエキスパートで構成されており、必要なエキスパートと共有エキスパートのみが各トークンを処理するため、モデルはよりコスト効率が高く、実行速度も速くなります。Metaは、Llama 4 Maverickが単一のNvidia H100 DGXホストで実行可能で、デプロイが容易だと自慢しています。
コスト効率とアクセシビリティ
Metaはこれらのモデルをアクセスしやすくすることに注力しています。ScoutとMaverickはどちらもセルフホスティングが可能で、魅力的なコスト見積もりも公開されています。例えば、Llama 4 Maverickの推論コストは100万トークンあたり0.19ドルから0.49ドルで、GPT-4oなどの他のプロプライエタリモデルと比べると非常に安価です。クラウドプロバイダ経由でこれらのモデルを使用したい場合、Groqはすでに競争力のある価格を提供しています。
強化された推論とMetaP
これらのモデルは推論、コーディング、問題解決を念頭に構築されています。Metaはトレーニング中に簡単なプロンプトを削除し、徐々に難しいプロンプトを用いた継続的な強化学習を使用するなど、巧妙な技術を活用してこれらの能力を強化しました。また、1つのモデルでハイパーパラメータを設定し、他のモデルに適用できる新しい技術、MetaPを導入しました。これは特に、32KのGPUを使用し、30兆トークン以上を処理するBehemothのような巨大モデルのトレーニングにおいて、時間とコストを節約する画期的な技術です。
パフォーマンスと比較
では、これらのモデルはどのように評価されるのでしょうか？ザッカーバーグはオープンソースAIが先導するというビジョンを明確に述べており、Llama 4はその方向への大きな一歩です。すべてのベンチマークで新記録を樹立するわけではありませんが、確かにトップクラスに位置しています。例えば、Llama 4 Behemothは特定のベンチマークで強力な競合を上回っていますが、DeepSeek R1やOpenAIのo1シリーズにはまだ追いついていない部分もあります。
Llama 4 Behemoth
- MATH-500（95.0）、GPQA Diamond（73.7）、MMLU Pro（82.2）でGPT-4.5、Gemini 2.0 Pro、Claude Sonnet 3.7を上回る
Llama 4 Maverick
- ChartQA、DocVQA、MathVista、MMMUなどのほとんどのマルチモーダル推論ベンチマークでGPT-4oやGemini 2.0 Flashを上回る
- DeepSeek v3.1と競合しながら、アクティブパラメータを半分以下に抑える
- ベンチマークスコア：ChartQA（90.0）、DocVQA（94.4）、MMLU Pro（80.5）
Llama 4 Scout
- DocVQA（94.4）、MMLU Pro（74.3）、MathVista（70.7）でMistral 3.1、Gemini 2.0 Flash-Lite、Gemma 3と同等またはそれ以上
- 比類のない1000万トークンのコンテキスト長—長編ドキュメントやコードベースに最適
DeepSeek R1との比較
トップリーグにおいては、Llama 4 Behemothは善戦していますが、DeepSeek R1やOpenAIのo1シリーズを完全に超えることはできません。MATH-500やMMLUではわずかに遅れていますが、GPQA Diamondではリードしています。それでも、Llama 4が推論分野で強力な競争相手であることは明らかです。
ベンチマーク Llama 4 Behemoth DeepSeek R1 OpenAI o1-1217 MATH-500 95.0 97.3 96.4 GPQA Diamond 73.7 71.5 75.7 MMLU 82.2 90.8 91.8
安全性と政治的中立性
Metaは安全性も忘れていません。Llama Guard、Prompt Guard、CyberSecEvalなどのツールを導入して、適切な運用を確保しています。また、2024年選挙後のザッカーバーグの共和党支持の表明を受けて、特に政治的バイアスを減らし、よりバランスの取れたアプローチを目指しています。
Llama 4の未来
Llama 4により、MetaはAIの効率性、開放性、パフォーマンスの限界を押し広げています。エンタープライズレベルのAIアシスタントを構築したい場合や、AI研究に深く取り組みたい場合、Llama 4は推論を優先した強力で柔軟なオプションを提供します。MetaがAIをよりアクセスしやすく、影響力のあるものにするために尽力していることは明らかです。
関連記事
非営利団体、AIエージェントを活用してチャリティ募金活動を強化
大手テック企業がAIの "エージェント "をビジネスの生産性向上剤として推進する一方で、ある非営利団体はAIが社会的利益に貢献する可能性を実証している。オープン・フィランソロピーが支援する慈善研究グループ、セージ・フューチャーは最近、AIモデルが慈善活動の資金調達にどのように協力できるかを示す革新的な実験を行った。この非営利団体は、OpenAIのGPT-4oとo1、AnthropicのClau
トップAI研究所は、人類はAIシステムを理解する力を失いつつあると警告する
OpenAI、Google DeepMind、Anthropic、Metaの研究者は、前例のない団結を示し、競争上の相違を脇に置いて、責任あるAI開発について集団で警告を発した。これらの通常ライバル関係にある組織から40人以上の一流の科学者が、AIの意思決定プロセスの透明性を確保するための窓が急速に狭まっていることを強調する画期的な研究論文を共同執筆した。この共同研究は、現代のAIシステムにおける
Google Cloud が科学研究と発見のブレークスルーを促進
デジタル革命は、前例のない計算能力によって科学的方法論を変革している。最先端のテクノロジーは現在、理論的なフレームワークと実験室での実験の両方を補強し、高度なシミュレーションとビッグデータ分析によって分野横断的なブレークスルーを推進しています。基礎研究、スケーラブルなクラウドアーキテクチャ、人工知能開発に戦略的に投資することで、私たちは科学の進歩を加速させるエコシステムを確立しました。世界トップク
コメント (26)
0/200
![OwenLewis]()
OwenLewis
2025年8月24日 22:01:19 JST
Llama 4 sounds like a beast! That 10M token context window is wild—imagine analyzing entire books in one go. But can Meta keep up with DeepSeek’s efficiency? Excited for Behemoth, though! 🚀
0
![RogerSanchez]()
RogerSanchez
2025年4月25日 4:53:44 JST
Llama 4 정말 대단해요! 긴 문맥 스카우트와 마버릭 모델은 놀랍네요. 2T 파라미터의 괴물이 나올 걸 기대하고 있어요. 다만, 설정하는 게 좀 복잡해요. 그래도, AI의 미래가 밝아 보이네요! 🚀
0
![WillieHernández]()
WillieHernández
2025年4月24日 9:21:23 JST
Llama 4はすごい！長いコンテキストのスカウトやマーベリックモデルは驚異的。2Tパラメータのビーストが出るのを待ちきれない。ただ、設定が少し大変かな。でも、これでAIの未来は明るいね！🚀
0
![GregoryWilson]()
GregoryWilson
2025年4月23日 2:23:39 JST
MetaのLlama 4は最高ですね！長いコンテキストをスムーズに処理できるのが本当に便利。マーベリックモデルも面白いけど、2Tパラメータのモデルが来るのが楽しみです！🤩✨
0
![BrianThomas]()
BrianThomas
2025年4月22日 15:27:50 JST
O Llama 4 da Meta é incrível! A função de contexto longo é uma mão na roda para minhas pesquisas. Os modelos Maverick também são legais, mas estou ansioso pelo modelo de 2T parâmetros. Mal posso esperar para ver o que ele pode fazer! 🤯🚀
0
![JohnGarcia]()
JohnGarcia
2025年4月22日 12:11:00 JST
Acabo de enterarme de Llama 4 de Meta y ¡es una locura! ¡2T parámetros! Espero que no sea solo hype, pero si cumple con las expectativas, va a ser increíble. ¿Alguien ya lo ha probado? ¡Quiero saber más! 😎
0
2025年1月、AI業界は比較的知られていない中国のAIスタートアップ、DeepSeekが革新的なオープンソースの言語推論モデル、DeepSeek R1を発表したことで震撼しました。このモデルはMetaを凌駕するだけでなく、わずか数百万ドルという低コストでそれを実現しました—これはMetaがAIチームのリーダー数人に費やす予算に相当します！このニュースは、Metaが前月にリリースした最新のLlamaモデル、バージョン3.3がすでにやや時代遅れに見えていたこともあり、Metaを少々慌てさせました。
現在に早送りすると、Metaの創設者兼CEOであるマーク・ザッカーバーグはInstagramで新しいLlama 4シリーズの発売を発表しました。このシリーズには、4000億パラメータのLlama 4 Maverickと1090億パラメータのLlama 4 Scoutが含まれており、どちらも開発者がllama.comやHugging Faceで即座にダウンロードして試すことができます。また、2兆パラメータの巨大なモデル、Llama 4 Behemothのプレビューも公開されていますが、これはまだトレーニング中で、リリース日は未定です。
マルチモーダルおよび長コンテキスト機能
これらの新モデルの際立つ特徴の一つは、マルチモーダルな性質です。テキストだけでなく、ビデオや画像も処理できます。さらに、非常に長いコンテキストウィンドウを備えています—Maverickは100万トークン、Scoutに至っては驚異の1000万トークンです。例えるなら、一度に1500ページや1万5000ページのテキストを処理できるということです！医療、科学、文学など、大量の情報を処理・生成する必要がある分野での可能性を想像してみてください。
エキスパート混合アーキテクチャ
Llama 4の3つのモデルはすべて「エキスパート混合（MoE）」アーキテクチャを採用しており、これはOpenAIやMistralなどの企業によって注目を集めている技術です。このアプローチは、複数の小さな専門モデルを1つの大きな効率的なモデルに統合します。各Llama 4モデルは128の異なるエキスパートで構成されており、必要なエキスパートと共有エキスパートのみが各トークンを処理するため、モデルはよりコスト効率が高く、実行速度も速くなります。Metaは、Llama 4 Maverickが単一のNvidia H100 DGXホストで実行可能で、デプロイが容易だと自慢しています。
コスト効率とアクセシビリティ
Metaはこれらのモデルをアクセスしやすくすることに注力しています。ScoutとMaverickはどちらもセルフホスティングが可能で、魅力的なコスト見積もりも公開されています。例えば、Llama 4 Maverickの推論コストは100万トークンあたり0.19ドルから0.49ドルで、GPT-4oなどの他のプロプライエタリモデルと比べると非常に安価です。クラウドプロバイダ経由でこれらのモデルを使用したい場合、Groqはすでに競争力のある価格を提供しています。
強化された推論とMetaP
これらのモデルは推論、コーディング、問題解決を念頭に構築されています。Metaはトレーニング中に簡単なプロンプトを削除し、徐々に難しいプロンプトを用いた継続的な強化学習を使用するなど、巧妙な技術を活用してこれらの能力を強化しました。また、1つのモデルでハイパーパラメータを設定し、他のモデルに適用できる新しい技術、MetaPを導入しました。これは特に、32KのGPUを使用し、30兆トークン以上を処理するBehemothのような巨大モデルのトレーニングにおいて、時間とコストを節約する画期的な技術です。
パフォーマンスと比較
では、これらのモデルはどのように評価されるのでしょうか？ザッカーバーグはオープンソースAIが先導するというビジョンを明確に述べており、Llama 4はその方向への大きな一歩です。すべてのベンチマークで新記録を樹立するわけではありませんが、確かにトップクラスに位置しています。例えば、Llama 4 Behemothは特定のベンチマークで強力な競合を上回っていますが、DeepSeek R1やOpenAIのo1シリーズにはまだ追いついていない部分もあります。
Llama 4 Behemoth
- MATH-500（95.0）、GPQA Diamond（73.7）、MMLU Pro（82.2）でGPT-4.5、Gemini 2.0 Pro、Claude Sonnet 3.7を上回る
Llama 4 Maverick
- ChartQA、DocVQA、MathVista、MMMUなどのほとんどのマルチモーダル推論ベンチマークでGPT-4oやGemini 2.0 Flashを上回る
- DeepSeek v3.1と競合しながら、アクティブパラメータを半分以下に抑える
- ベンチマークスコア：ChartQA（90.0）、DocVQA（94.4）、MMLU Pro（80.5）
Llama 4 Scout
- DocVQA（94.4）、MMLU Pro（74.3）、MathVista（70.7）でMistral 3.1、Gemini 2.0 Flash-Lite、Gemma 3と同等またはそれ以上
- 比類のない1000万トークンのコンテキスト長—長編ドキュメントやコードベースに最適
DeepSeek R1との比較
トップリーグにおいては、Llama 4 Behemothは善戦していますが、DeepSeek R1やOpenAIのo1シリーズを完全に超えることはできません。MATH-500やMMLUではわずかに遅れていますが、GPQA Diamondではリードしています。それでも、Llama 4が推論分野で強力な競争相手であることは明らかです。
| ベンチマーク | Llama 4 Behemoth | DeepSeek R1 | OpenAI o1-1217 |
|---|---|---|---|
| MATH-500 | 95.0 | 97.3 | 96.4 |
| GPQA Diamond | 73.7 | 71.5 | 75.7 |
| MMLU | 82.2 | 90.8 | 91.8 |
安全性と政治的中立性
Metaは安全性も忘れていません。Llama Guard、Prompt Guard、CyberSecEvalなどのツールを導入して、適切な運用を確保しています。また、2024年選挙後のザッカーバーグの共和党支持の表明を受けて、特に政治的バイアスを減らし、よりバランスの取れたアプローチを目指しています。
Llama 4の未来
Llama 4により、MetaはAIの効率性、開放性、パフォーマンスの限界を押し広げています。エンタープライズレベルのAIアシスタントを構築したい場合や、AI研究に深く取り組みたい場合、Llama 4は推論を優先した強力で柔軟なオプションを提供します。MetaがAIをよりアクセスしやすく、影響力のあるものにするために尽力していることは明らかです。
非営利団体、AIエージェントを活用してチャリティ募金活動を強化
大手テック企業がAIの "エージェント "をビジネスの生産性向上剤として推進する一方で、ある非営利団体はAIが社会的利益に貢献する可能性を実証している。オープン・フィランソロピーが支援する慈善研究グループ、セージ・フューチャーは最近、AIモデルが慈善活動の資金調達にどのように協力できるかを示す革新的な実験を行った。この非営利団体は、OpenAIのGPT-4oとo1、AnthropicのClau
トップAI研究所は、人類はAIシステムを理解する力を失いつつあると警告する
OpenAI、Google DeepMind、Anthropic、Metaの研究者は、前例のない団結を示し、競争上の相違を脇に置いて、責任あるAI開発について集団で警告を発した。これらの通常ライバル関係にある組織から40人以上の一流の科学者が、AIの意思決定プロセスの透明性を確保するための窓が急速に狭まっていることを強調する画期的な研究論文を共同執筆した。この共同研究は、現代のAIシステムにおける
Google Cloud が科学研究と発見のブレークスルーを促進
デジタル革命は、前例のない計算能力によって科学的方法論を変革している。最先端のテクノロジーは現在、理論的なフレームワークと実験室での実験の両方を補強し、高度なシミュレーションとビッグデータ分析によって分野横断的なブレークスルーを推進しています。基礎研究、スケーラブルなクラウドアーキテクチャ、人工知能開発に戦略的に投資することで、私たちは科学の進歩を加速させるエコシステムを確立しました。世界トップク
2025年8月24日 22:01:19 JST
Llama 4 sounds like a beast! That 10M token context window is wild—imagine analyzing entire books in one go. But can Meta keep up with DeepSeek’s efficiency? Excited for Behemoth, though! 🚀
0
2025年4月25日 4:53:44 JST
Llama 4 정말 대단해요! 긴 문맥 스카우트와 마버릭 모델은 놀랍네요. 2T 파라미터의 괴물이 나올 걸 기대하고 있어요. 다만, 설정하는 게 좀 복잡해요. 그래도, AI의 미래가 밝아 보이네요! 🚀
0
2025年4月24日 9:21:23 JST
Llama 4はすごい！長いコンテキストのスカウトやマーベリックモデルは驚異的。2Tパラメータのビーストが出るのを待ちきれない。ただ、設定が少し大変かな。でも、これでAIの未来は明るいね！🚀
0
2025年4月23日 2:23:39 JST
MetaのLlama 4は最高ですね！長いコンテキストをスムーズに処理できるのが本当に便利。マーベリックモデルも面白いけど、2Tパラメータのモデルが来るのが楽しみです！🤩✨
0
2025年4月22日 15:27:50 JST
O Llama 4 da Meta é incrível! A função de contexto longo é uma mão na roda para minhas pesquisas. Os modelos Maverick também são legais, mas estou ansioso pelo modelo de 2T parâmetros. Mal posso esperar para ver o que ele pode fazer! 🤯🚀
0
2025年4月22日 12:11:00 JST
Acabo de enterarme de Llama 4 de Meta y ¡es una locura! ¡2T parámetros! Espero que no sea solo hype, pero si cumple con las expectativas, va a ser increíble. ¿Alguien ya lo ha probado? ¡Quiero saber más! 😎
0
