家メタのAIモデルベンチマーク：誤解を招く？
さて、Metaが週末に新しいAIモデル、Maverickをリリースし、LM Arenaで2位を獲得して早くも話題になっています。ご存知の通り、LM Arenaは人間が裁判官となってさまざまなAIモデルを比較し、気に入ったものを選ぶ場所です。でも、ちょっと待って、面白い展開が！ LM Arenaで活躍しているMaverickのバージョンは、開発者がダウンロードして使えるものと完全に同じではないことが判明しました。
X（そう、以前はTwitterとして知られていたプラットフォーム）上の鋭いAI研究者たちが、MetaがLM Arenaのバージョンを「実験的なチャットバージョン」と呼んでいることに気づきました。Llamaのウェブサイトを覗いてみると、テストは「会話に最適化されたLlama 4 Maverick」で行われたと明かしているチャートがあります。これについては以前も話しましたが、LM ArenaはAIのパフォーマンスを測るための金字塔というわけではありません。ほとんどのAI企業は、このテストで高得点を狙うためにモデルをいじることはしない——少なくとも、そう公言していません。
問題は、ベンチマークで高得点を出すようにモデルを調整しつつ、一般向けには異なる「バニラ」バージョンを公開すると、開発者がそのモデルが実際のシナリオでどれだけうまく機能するかを判断するのが難しくなることです。それに、ちょっと紛らわしいですよね？ ベンチマークには欠陥があるとはいえ、モデルがさまざまなタスクで何ができて何ができないかを明確に示すべきです。
Xの研究者たちは、ダウンロード可能なMaverickとLM Arenaのものとの間に大きな違いがあることにすぐ気づきました。Arenaのバージョンは絵文字を多用し、長い、くどい回答をするのが特徴のようです。
Okay Llama 4 is def a littled cooked lol, what is this yap city pic.twitter.com/y3GvhbVz65
— Nathan Lambert (@natolambert) 2025年4月6日
for some reason, the Llama 4 model in Arena uses a lot more Emojis
on together . ai, it seems better: pic.twitter.com/f74ODX4zTt
— Tech Dev Notes (@techdevnotes) 2025年4月6日
私たちはMetaと、LM Arenaを運営するChatbot Arenaの担当者にこの件についてコメントを求めました。続報をお待ちください！
関連記事
Metaは、あなたの次のガジェットがMuseを内蔵したものであることを望んでいる
Metaの旅行予約、フォーム送信、ショッピングを処理するAIアシスタント「Muse」は広く採用されているが、新しいイニシアチブは特に開発者やハードウェア愛好家を魅了する可能性がある。金曜日、MetaはMuseと統合されたカスタムハードウェアを作成できるようにするオープンソースのイニシアチブ「Muse Gadgets」を発表した。Metaは、カラー電子インクディスプレイをMuseに追加することから、HDMIスティックにソフトウェアを組み込んでテレビ接続を実現することまで、さまざまなスタータープ
MetaのMuseは、モバイルでの早期ローンチにおいてChatGPTを上回る
最新のデータによると、Metaの最新AIアプリ「Muse」が、同社のソーシャルメディア巨人の次の大きな成功となる可能性があることが示唆されている。Appfiguresの最近の見積もりによれば、Museは最初の12日間でモバイルデバイスにダウンロードされた回数が、ChatGPTがローンチ後の12日間でダウンロードされた回数を超えている。（このデータは米国とカナダの市場のみをカバーしている。）同社はまた、Museが同じ段階にあるChatGPTよりも多くのデイリーアクティブユーザー（DAU）を持ってい
MetaのMuseがMacに登場、コンピュータ上でAIがアクションを実行可能に
Metaの最新AIアシスタント「Muse」がMacで利用可能になりました。macOSでは、Museはファイル、メッセージ、カレンダー、ノート、メールと統合され、それぞれのネイティブアプリ内で直接動作します。今回のデスクトップ版のリリースは、今月初めにモバイルおよびWeb版で登場し、米国App Storeのランキングで急速にトップに躍り出たMuseに続くものです。muse for mac is HERE!! your agent can now get stuff done right o
関連特集おすすめ
デザインとアート
おすすめのAIイラスト作成ツール：編集用シーンや表紙アートを素早く作成
2026年最新・高評価のAIイラストレーションツール：当サイトが厳選したこのリストには、見事な編集用シーンや人目を引く表紙アートを素早く作成できる、高性能なツールが掲載されています。各ツールは実環境での厳格なテストを経ており、無料版と有料版の比較も掲載されているため、ご自身のワークフローに最適なツールを見つけるのに役立ちます。 今すぐこれらの「必見」ソリューションを試して、AIの力を最大限に活用し、クリエイティブな生産性を高めましょう。XIX.AIで今すぐチェックしてください。
10 ツール
xix.ai
教育と学習
試験対策に最適なAIチューター：数学、理科、英語の練習
2026年最新の、試験対策で高評価を得ている最高のAIチューターがXIX.AIに登場！厳選されたこのリストには、無料版と有料版の比較、実戦的なテスト、毎週更新されるランキングなどを提供する、画期的なツールが勢ぞろいしています。これらは、ライティングの効率を高め、複雑なトピックの学習を簡素化し、あなたの学業的な可能性を引き出すのに役立ちます。 今すぐチェックして、あなたにぴったりの試験対策ツールを見つけ、今日から作成を始めて、AIの力を最大限に活用しましょう！
10 ツール
xix.ai
ファイナンス
個人のお金管理のためのAI予算計画ツール
2026年の最新・最高評価のAI予算管理ツールがXIX.AIで登場！この厳選コレクションは、現実的なテストを行い、支出習慣を理解し、生産性を高めるためのパーソナライズされた計画を作成するのに役立つ革新的なソリューションを提供しています。無料版と有料版の比較や詳細なランキングもご用意しています。お金の管理を簡素化し、AIの優位性を引き出すためにぜひ試してほしいツールです。今すぐチェックしましょう！
11 ツール
xix.ai
健康とウェルネス
AI睡眠追跡アシスタント：より良い就寝習慣で回復力を高める
2026年最新かつ最高評価を受けているAI睡眠追跡アシスタントを厳選し、最適な回復を実現できるようご紹介します。完全に更新されたこの週間ガイドには、実際のテスト結果や無料版と有料版の比較、詳細なランキングなど、睡眠の質を向上させてより良い就寝習慣をサポートする最適なソリューションを見つけるのに役立つ強力なツールが掲載されています。今すぐXIX.AIでご覧ください。
10 ツール
xix.ai
データ分析
製品および収益分析のためのAI SQLコパイロット
2026年版 製品・収益分析に最適な、高評価のAI SQLコパイロット最新ランキング！ XIX.AIは、毎週更新されるランキングを通じて実環境でのテストを経た、強力で画期的な「ぜひ試すべきツール」を厳選しました。これらのツールは、データ分析を加速させ、複雑なクエリを効率化し、正確なインサイトを生成することで、ユーザーの生産性を大幅に向上させ、より賢明なビジネス意思決定を後押しします。今すぐチェックして、AIの真価を引き出すあなたにぴったりのツールを見つけましょう！
14 ツール
xix.ai
教育と学習
学びを促進する最高のAI宿題支援ツール：答えだけでなく、概念を学べる
2026年最新・最高評価のAI宿題サポートツール。単なる答えだけでなく、核心となる概念を教える、学生にとって強力なツール。ぜひ試してほしい厳選リスト。毎週更新。無料版と有料版の比較、実地テストによる正確なランキングで、あなたの学習能力を最大限に引き出します。今すぐチェックして、よりスマートな学習を実現するあなたにぴったりのツールを見つけましょう。
10 ツール
xix.ai
コメント (37)
0/500
![RalphGarcia]()
メタのAIベンチマークって怪しくない？🤔 人間が好みで評価するランダムなランキングより、実用的なテストの方が信用できると思う。結局ベンチマークゲームに夢中になる企業より、実際に役立つAIを作ってる会社の方が価値あるよね。 #AIベンチマーク
![ScottWalker]()
Meta's Maverick hitting second on LM Arena? Impressive, but I'm skeptical about those benchmarks. Feels like a hype train—wonder if it’s more flash than substance. 🤔 Anyone tested it in real-world tasks yet?
![KennethMartin]()
Meta's Maverick AI model is impressive, snagging second place on LM Arena! But are the benchmarks really telling the whole story? It's cool to see AI models go head-to-head, but I'm not sure if it's all fair play. Makes you wonder, right? 🤔 Maybe we need a more transparent way to judge these models!
![WalterThomas]()
मेटा का नया AI मॉडल, मैवरिक, LM एरिना में दूसरे स्थान पर पहुंचा! यह प्रभावशाली है, लेकिन क्या बेंचमार्क वास्तव में पूरी कहानी बता रहे हैं? AI मॉडल्स को आपस में प्रतिस्पर्धा करते देखना मजेदार है, लेकिन मुझे नहीं पता कि यह निष्पक्ष है या नहीं। आपको सोचने पर मजबूर करता है, है ना? 🤔 शायद हमें इन मॉडल्स को जज करने का एक और पारदर्शी तरीका चाहिए!
![JohnYoung]()
메타의 새로운 AI 모델, 마브릭이 LM Arena에서 2위를 차지하다니 대단해요! 하지만 벤치마크가 정말 모든 것을 말해주고 있는지 궁금해요. AI 모델 간의 경쟁은 재미있지만, 공정한지 확신할 수 없네요. 더 투명한 평가 방법이 필요할 것 같아요 🤔
![JohnHernández]()
Meta's Maverick AI model snagging second place on LM Arena is pretty cool, but the benchmarks might be a bit off! 🤔 It's fun to see these models go head-to-head, but I'm not sure if the results are totally fair. Worth keeping an eye on! 👀
さて、Metaが週末に新しいAIモデル、Maverickをリリースし、LM Arenaで2位を獲得して早くも話題になっています。ご存知の通り、LM Arenaは人間が裁判官となってさまざまなAIモデルを比較し、気に入ったものを選ぶ場所です。でも、ちょっと待って、面白い展開が！ LM Arenaで活躍しているMaverickのバージョンは、開発者がダウンロードして使えるものと完全に同じではないことが判明しました。
X（そう、以前はTwitterとして知られていたプラットフォーム）上の鋭いAI研究者たちが、MetaがLM Arenaのバージョンを「実験的なチャットバージョン」と呼んでいることに気づきました。Llamaのウェブサイトを覗いてみると、テストは「会話に最適化されたLlama 4 Maverick」で行われたと明かしているチャートがあります。これについては以前も話しましたが、LM ArenaはAIのパフォーマンスを測るための金字塔というわけではありません。ほとんどのAI企業は、このテストで高得点を狙うためにモデルをいじることはしない——少なくとも、そう公言していません。
問題は、ベンチマークで高得点を出すようにモデルを調整しつつ、一般向けには異なる「バニラ」バージョンを公開すると、開発者がそのモデルが実際のシナリオでどれだけうまく機能するかを判断するのが難しくなることです。それに、ちょっと紛らわしいですよね？ ベンチマークには欠陥があるとはいえ、モデルがさまざまなタスクで何ができて何ができないかを明確に示すべきです。
Xの研究者たちは、ダウンロード可能なMaverickとLM Arenaのものとの間に大きな違いがあることにすぐ気づきました。Arenaのバージョンは絵文字を多用し、長い、くどい回答をするのが特徴のようです。
Okay Llama 4 is def a littled cooked lol, what is this yap city pic.twitter.com/y3GvhbVz65
— Nathan Lambert (@natolambert) 2025年4月6日
for some reason, the Llama 4 model in Arena uses a lot more Emojis
— Tech Dev Notes (@techdevnotes) 2025年4月6日
on together . ai, it seems better: pic.twitter.com/f74ODX4zTt
私たちはMetaと、LM Arenaを運営するChatbot Arenaの担当者にこの件についてコメントを求めました。続報をお待ちください！
Metaは、あなたの次のガジェットがMuseを内蔵したものであることを望んでいる
Metaの旅行予約、フォーム送信、ショッピングを処理するAIアシスタント「Muse」は広く採用されているが、新しいイニシアチブは特に開発者やハードウェア愛好家を魅了する可能性がある。金曜日、MetaはMuseと統合されたカスタムハードウェアを作成できるようにするオープンソースのイニシアチブ「Muse Gadgets」を発表した。Metaは、カラー電子インクディスプレイをMuseに追加することから、HDMIスティックにソフトウェアを組み込んでテレビ接続を実現することまで、さまざまなスタータープ
MetaのMuseは、モバイルでの早期ローンチにおいてChatGPTを上回る
最新のデータによると、Metaの最新AIアプリ「Muse」が、同社のソーシャルメディア巨人の次の大きな成功となる可能性があることが示唆されている。Appfiguresの最近の見積もりによれば、Museは最初の12日間でモバイルデバイスにダウンロードされた回数が、ChatGPTがローンチ後の12日間でダウンロードされた回数を超えている。（このデータは米国とカナダの市場のみをカバーしている。）同社はまた、Museが同じ段階にあるChatGPTよりも多くのデイリーアクティブユーザー（DAU）を持ってい
MetaのMuseがMacに登場、コンピュータ上でAIがアクションを実行可能に
Metaの最新AIアシスタント「Muse」がMacで利用可能になりました。macOSでは、Museはファイル、メッセージ、カレンダー、ノート、メールと統合され、それぞれのネイティブアプリ内で直接動作します。今回のデスクトップ版のリリースは、今月初めにモバイルおよびWeb版で登場し、米国App Storeのランキングで急速にトップに躍り出たMuseに続くものです。muse for mac is HERE!! your agent can now get stuff done right o
2026年最新・高評価のAIイラストレーションツール：当サイトが厳選したこのリストには、見事な編集用シーンや人目を引く表紙アートを素早く作成できる、高性能なツールが掲載されています。各ツールは実環境での厳格なテストを経ており、無料版と有料版の比較も掲載されているため、ご自身のワークフローに最適なツールを見つけるのに役立ちます。 今すぐこれらの「必見」ソリューションを試して、AIの力を最大限に活用し、クリエイティブな生産性を高めましょう。XIX.AIで今すぐチェックしてください。
10 ツール
xix.ai
2026年最新の、試験対策で高評価を得ている最高のAIチューターがXIX.AIに登場！厳選されたこのリストには、無料版と有料版の比較、実戦的なテスト、毎週更新されるランキングなどを提供する、画期的なツールが勢ぞろいしています。これらは、ライティングの効率を高め、複雑なトピックの学習を簡素化し、あなたの学業的な可能性を引き出すのに役立ちます。 今すぐチェックして、あなたにぴったりの試験対策ツールを見つけ、今日から作成を始めて、AIの力を最大限に活用しましょう！
10 ツール
xix.ai
2026年の最新・最高評価のAI予算管理ツールがXIX.AIで登場！この厳選コレクションは、現実的なテストを行い、支出習慣を理解し、生産性を高めるためのパーソナライズされた計画を作成するのに役立つ革新的なソリューションを提供しています。無料版と有料版の比較や詳細なランキングもご用意しています。お金の管理を簡素化し、AIの優位性を引き出すためにぜひ試してほしいツールです。今すぐチェックしましょう！
11 ツール
xix.ai
2026年最新かつ最高評価を受けているAI睡眠追跡アシスタントを厳選し、最適な回復を実現できるようご紹介します。完全に更新されたこの週間ガイドには、実際のテスト結果や無料版と有料版の比較、詳細なランキングなど、睡眠の質を向上させてより良い就寝習慣をサポートする最適なソリューションを見つけるのに役立つ強力なツールが掲載されています。今すぐXIX.AIでご覧ください。
10 ツール
xix.ai
2026年版 製品・収益分析に最適な、高評価のAI SQLコパイロット最新ランキング！ XIX.AIは、毎週更新されるランキングを通じて実環境でのテストを経た、強力で画期的な「ぜひ試すべきツール」を厳選しました。これらのツールは、データ分析を加速させ、複雑なクエリを効率化し、正確なインサイトを生成することで、ユーザーの生産性を大幅に向上させ、より賢明なビジネス意思決定を後押しします。今すぐチェックして、AIの真価を引き出すあなたにぴったりのツールを見つけましょう！
14 ツール
xix.ai
2026年最新・最高評価のAI宿題サポートツール。単なる答えだけでなく、核心となる概念を教える、学生にとって強力なツール。ぜひ試してほしい厳選リスト。毎週更新。無料版と有料版の比較、実地テストによる正確なランキングで、あなたの学習能力を最大限に引き出します。今すぐチェックして、よりスマートな学習を実現するあなたにぴったりのツールを見つけましょう。
10 ツール
xix.ai
メタのAIベンチマークって怪しくない？🤔 人間が好みで評価するランダムなランキングより、実用的なテストの方が信用できると思う。結局ベンチマークゲームに夢中になる企業より、実際に役立つAIを作ってる会社の方が価値あるよね。 #AIベンチマーク
Meta's Maverick hitting second on LM Arena? Impressive, but I'm skeptical about those benchmarks. Feels like a hype train—wonder if it’s more flash than substance. 🤔 Anyone tested it in real-world tasks yet?
Meta's Maverick AI model is impressive, snagging second place on LM Arena! But are the benchmarks really telling the whole story? It's cool to see AI models go head-to-head, but I'm not sure if it's all fair play. Makes you wonder, right? 🤔 Maybe we need a more transparent way to judge these models!
मेटा का नया AI मॉडल, मैवरिक, LM एरिना में दूसरे स्थान पर पहुंचा! यह प्रभावशाली है, लेकिन क्या बेंचमार्क वास्तव में पूरी कहानी बता रहे हैं? AI मॉडल्स को आपस में प्रतिस्पर्धा करते देखना मजेदार है, लेकिन मुझे नहीं पता कि यह निष्पक्ष है या नहीं। आपको सोचने पर मजबूर करता है, है ना? 🤔 शायद हमें इन मॉडल्स को जज करने का एक और पारदर्शी तरीका चाहिए!
메타의 새로운 AI 모델, 마브릭이 LM Arena에서 2위를 차지하다니 대단해요! 하지만 벤치마크가 정말 모든 것을 말해주고 있는지 궁금해요. AI 모델 간의 경쟁은 재미있지만, 공정한지 확신할 수 없네요. 더 투명한 평가 방법이 필요할 것 같아요 🤔
Meta's Maverick AI model snagging second place on LM Arena is pretty cool, but the benchmarks might be a bit off! 🤔 It's fun to see these models go head-to-head, but I'm not sure if the results are totally fair. Worth keeping an eye on! 👀
