MetaはLlama 4リリースを擁護し、バグを混合品質レポートの原因として引用します

週末、Facebook、Instagram、WhatsApp、Quest VRを運営するMetaは、最新のAI言語モデルLlama 4を公開し、驚きを与えた。3つの新バージョンが導入され、それぞれ「Mixture-of-Experts」アーキテクチャと固定ハイパーパラメータを用いた新しいトレーニング手法MetaPにより強化された機能を持つ。さらに、3つのモデルはすべて広範なコンテキストウィンドウを備え、1回の対話でより多くの情報を処理できる。

リリースの興奮にもかかわらず、AIコミュニティの反応はせいぜい冷淡だった。土曜日、MetaはLlama 4 ScoutとLlama 4 Maverickの2つのモデルをダウンロードと使用可能にしたが、反応は熱狂的とは程遠い。

Llama 4、AIユーザーの間で混乱と批判を呼ぶ

北米の中国語コミュニティで人気の1point3acresフォーラムに投稿された未検証の投稿が、Redditのr/LocalLlamaサブレディットに広まった。この投稿は、MetaのGenAI組織の研究者によるものとされ、Llama 4が内部のサードパーティベンチマークで期待外れだったと主張。Metaの経営陣がテストセットを混ぜて結果を操作し、好ましい結果を示したと示唆した。この主張の真偽は疑問視され、MetaはVentureBeatからの問い合わせにまだ回答していない。

しかし、Llama 4のパフォーマンスに対する疑問はそれだけに止まらなかった。Xでユーザー@cto_juniorは、Llama 4 Maverickがコーディングタスクをテストするaider polyglotベンチマークでわずか16%のスコアを記録した独立テストを引用し、モデルのパフォーマンスに疑問を呈した。このスコアは、DeepSeek V3やClaude 3.7 Sonnetといった同規模の旧モデルよりも大幅に低い。

AI博士で著者のAndriy BurkovもXで、Llama 4 Scoutの宣伝されている1000万トークンのコンテキストウィンドウが「仮想」だと指摘。モデルは256kトークンを超えるプロンプトでトレーニングされておらず、長いプロンプトを送ると低品質な出力になる可能性が高いと警告した。

r/LocalLlamaサブレディットでは、ユーザーDr_KarminskiがLlama 4の性能に失望を表明し、七角形内でのボールの動きをシミュレートするタスクでDeepSeekの非推論V3モデルと比較して劣ると述べた。

元Meta研究者で現在AI2のシニア研究者であるNathan Lambertは、自身のInterconnects SubstackブログでMetaのベンチマーク比較を批判。Metaのプロモーション資料で使用されたLlama 4 Maverickモデルは公開されたものとは異なり、会話向けに最適化されていたと指摘。「狡猾だ。以下の結果は偽物で、マーケティングのために使用したモデルを公開しないのはMetaコミュニティに対する重大な侮辱だ」と述べ、プロモーションモデルは「その性格が幼稚でリリースの技術的評判を損なっている」としつつ、他のプラットフォームで利用可能な実際のモデルは「かなり賢く、合理的なトーンを持っている」と付け加えた。

Meta、テストセットでのトレーニング否定と迅速な展開によるバグを理由に反論

批判と非難に対し、MetaのGenAI副社長兼責任者のAhmad Al-DahleはXで懸念に対応。Llama 4へのコミュニティの関与に熱意を示しつつ、異なるサービスでの品質のばらつきを認め、迅速な展開と公開実装の安定化に時間がかかるためだと説明。テストセットでのトレーニングの疑惑を強く否定し、品質の変動は不正ではなく実装バグによるものだと強調。MetaはLlama 4モデルの大きな進歩を信じ、コミュニティと協力してその可能性を実現する決意を再確認した。

しかし、この対応はコミュニティの不満を鎮めるには至らず、多くの人が依然として性能の低さを報告し、モデルのトレーニングプロセスに関する詳細な技術文書を求めている。このリリースは以前のLlamaバージョンよりも多くの問題に直面し、開発と展開に関する疑問を呼んでいる。

このリリースのタイミングは、Metaの研究副社長Joelle Pineauが先週LinkedInで退社を発表し、会社での時間に感謝を述べたことに続く注目すべきもの。Pineauは週末にLlama 4モデルファミリーを宣伝していた。

Llama 4が他の推論プロバイダーに採用される中、結果はまちまちで、Metaが期待した成功とは言えない。4月29日に開催されるMeta LlamaConは、モデルファミリーのサードパーティ開発者向け初の集会となり、議論と論争の場となるだろう。引き続き動向を注視するので、注目してほしい。