Meta的AI模型基準:誤導性?

所以,Meta 在週末推出了他們的新 AI 模型 Maverick,它已經在 LM Arena 上掀起波瀾,奪得了第二名的位置。你知道的,那是個人類可以扮演法官與陪審團的地方,比較不同的 AI 模型並挑選他們的最愛。但是,等等,有個轉折!結果顯示,在 LM Arena 上展現風采的 Maverick 版本,與開發者可以下載並使用的版本並不完全相同。
一些在 X(是的,就是以前被稱為 Twitter 的平台)上的敏銳 AI 研究人員發現,Meta 將 LM Arena 上的版本稱為「實驗性聊天版本」。如果你偷瞄 Llama 網站,會看到一張圖表透露了真相,說測試是用「針對對話性優化的 Llama 4 Maverick」進行的。我們之前討論過這個,但 LM Arena 並不完全是衡量 AI 表現的黃金標準。大多數 AI 公司不會為了在這個測試中獲得更好成績而特意調整他們的模型——至少他們不會承認這一點。
問題在於,當你調整一個模型以在基準測試中表現出色,卻向公眾發布一個不同的「原版」版本時,開發者很難判斷這個模型在現實場景中的實際表現如何。而且,這有點誤導,對吧?基準測試雖然有其缺陷,但應該能清楚地展示一個模型在不同任務上的能力和局限性。
X 上的研究人員很快注意到,你可以下載的 Maverick 與 LM Arena 上的版本之間存在一些重大差異。Arena 版本似乎特別喜歡使用表情符號,而且愛給出冗長的回答。
好的,Llama 4 確實有點被過分誇大了,哈哈,這是什麼長篇大論的城市 pic.twitter.com/y3GvhbVz65
— Nathan Lambert (@natolambert) 2025年4月6日
不知為何,Arena 中的 Llama 4 模型使用了更多的表情符號
在 together.ai 上,它看起來更好: pic.twitter.com/f74ODX4zTt
— Tech Dev Notes (@techdevnotes) 2025年4月6日
我們已經聯繫了 Meta 和運營 LM Arena 的 Chatbot Arena 團隊,看看他們對此有什麼說法。敬請期待!
相關文章
Frontier AI Labs 拒絕透露針對失控模型的管控策略
近期研究顯示,極少數頂尖的人工智慧實驗室曾公布或展示過「遏制應變計畫」。遏制計畫旨在界定當人工智慧系統試圖顛覆人類控制時應採取的程序,具體說明應撤銷哪些存取權限,以及何時應完全關閉系統。這些發現來自「Guidelight AI Standards」——一個致力於推動安全前沿人工智慧開發實務的組織,該組織針對五家主要實驗室在此類情境下的應變準備程度進行了評估。 OpenAI 排名最高,而 Anthr
馬克·扎克伯格真的相信人工智慧是面向每個人的嗎?
正在載入播放器…Meta 本週推出了 Glimmer,這是一個開源權重的 AI 模型,任何人都可以下載並在個人硬體上執行——這與該公司更強大的模型 Muse Spark 形成了鮮明對比,後者仍鎖定在其自有 API 之後。此次釋出伴隨著馬克·扎克伯格(Mark Zuckerberg)的一封公開信,他在信中主張人工智慧應向所有人開放,而非由少數幾家實驗室控制。但正如 Equity 節目主持人所指出的那樣,這一願景附帶了幾個重要的限制條件。在本期 TechCrunch 的 Equity 播客中,K
Facebook 推出專為內容創作者設計的 AI 輔助應用程式
Facebook 於週三透露,將把「創作者工作室」(Creator Studio)轉型為一款專用的 AI 輔助應用程式,協助創作者在平台上擴大影響力。透過提供這項由人工智慧驅動的工具,Meta 旨在面對 TikTok 和 YouTube 的激烈競爭,仍能留住 Facebook 上的創作者。該公司亦預期此應用程式能減少對 ChatGPT 等外部工具在內容構思與表現分析方面的依賴。目前該新應用程式正針
相關專題推薦
評論 (37)
0/500
メタのAIベンチマークって怪しくない?🤔 人間が好みで評価するランダムなランキングより、実用的なテストの方が信用できると思う。結局ベンチマークゲームに夢中になる企業より、実際に役立つAIを作ってる会社の方が価値あるよね。 #AIベンチマーク
Meta's Maverick hitting second on LM Arena? Impressive, but I'm skeptical about those benchmarks. Feels like a hype train—wonder if it’s more flash than substance. 🤔 Anyone tested it in real-world tasks yet?
Meta's Maverick AI model is impressive, snagging second place on LM Arena! But are the benchmarks really telling the whole story? It's cool to see AI models go head-to-head, but I'm not sure if it's all fair play. Makes you wonder, right? 🤔 Maybe we need a more transparent way to judge these models!
मेटा का नया AI मॉडल, मैवरिक, LM एरिना में दूसरे स्थान पर पहुंचा! यह प्रभावशाली है, लेकिन क्या बेंचमार्क वास्तव में पूरी कहानी बता रहे हैं? AI मॉडल्स को आपस में प्रतिस्पर्धा करते देखना मजेदार है, लेकिन मुझे नहीं पता कि यह निष्पक्ष है या नहीं। आपको सोचने पर मजबूर करता है, है ना? 🤔 शायद हमें इन मॉडल्स को जज करने का एक और पारदर्शी तरीका चाहिए!
메타의 새로운 AI 모델, 마브릭이 LM Arena에서 2위를 차지하다니 대단해요! 하지만 벤치마크가 정말 모든 것을 말해주고 있는지 궁금해요. AI 모델 간의 경쟁은 재미있지만, 공정한지 확신할 수 없네요. 더 투명한 평가 방법이 필요할 것 같아요 🤔

所以,Meta 在週末推出了他們的新 AI 模型 Maverick,它已經在 LM Arena 上掀起波瀾,奪得了第二名的位置。你知道的,那是個人類可以扮演法官與陪審團的地方,比較不同的 AI 模型並挑選他們的最愛。但是,等等,有個轉折!結果顯示,在 LM Arena 上展現風采的 Maverick 版本,與開發者可以下載並使用的版本並不完全相同。
一些在 X(是的,就是以前被稱為 Twitter 的平台)上的敏銳 AI 研究人員發現,Meta 將 LM Arena 上的版本稱為「實驗性聊天版本」。如果你偷瞄 Llama 網站,會看到一張圖表透露了真相,說測試是用「針對對話性優化的 Llama 4 Maverick」進行的。我們之前討論過這個,但 LM Arena 並不完全是衡量 AI 表現的黃金標準。大多數 AI 公司不會為了在這個測試中獲得更好成績而特意調整他們的模型——至少他們不會承認這一點。
問題在於,當你調整一個模型以在基準測試中表現出色,卻向公眾發布一個不同的「原版」版本時,開發者很難判斷這個模型在現實場景中的實際表現如何。而且,這有點誤導,對吧?基準測試雖然有其缺陷,但應該能清楚地展示一個模型在不同任務上的能力和局限性。
X 上的研究人員很快注意到,你可以下載的 Maverick 與 LM Arena 上的版本之間存在一些重大差異。Arena 版本似乎特別喜歡使用表情符號,而且愛給出冗長的回答。
好的,Llama 4 確實有點被過分誇大了,哈哈,這是什麼長篇大論的城市 pic.twitter.com/y3GvhbVz65
— Nathan Lambert (@natolambert) 2025年4月6日
不知為何,Arena 中的 Llama 4 模型使用了更多的表情符號
— Tech Dev Notes (@techdevnotes) 2025年4月6日
在 together.ai 上,它看起來更好: pic.twitter.com/f74ODX4zTt
我們已經聯繫了 Meta 和運營 LM Arena 的 Chatbot Arena 團隊,看看他們對此有什麼說法。敬請期待!
Frontier AI Labs 拒絕透露針對失控模型的管控策略
近期研究顯示,極少數頂尖的人工智慧實驗室曾公布或展示過「遏制應變計畫」。遏制計畫旨在界定當人工智慧系統試圖顛覆人類控制時應採取的程序,具體說明應撤銷哪些存取權限,以及何時應完全關閉系統。這些發現來自「Guidelight AI Standards」——一個致力於推動安全前沿人工智慧開發實務的組織,該組織針對五家主要實驗室在此類情境下的應變準備程度進行了評估。 OpenAI 排名最高,而 Anthr
馬克·扎克伯格真的相信人工智慧是面向每個人的嗎?
正在載入播放器…Meta 本週推出了 Glimmer,這是一個開源權重的 AI 模型,任何人都可以下載並在個人硬體上執行——這與該公司更強大的模型 Muse Spark 形成了鮮明對比,後者仍鎖定在其自有 API 之後。此次釋出伴隨著馬克·扎克伯格(Mark Zuckerberg)的一封公開信,他在信中主張人工智慧應向所有人開放,而非由少數幾家實驗室控制。但正如 Equity 節目主持人所指出的那樣,這一願景附帶了幾個重要的限制條件。在本期 TechCrunch 的 Equity 播客中,K
Facebook 推出專為內容創作者設計的 AI 輔助應用程式
Facebook 於週三透露,將把「創作者工作室」(Creator Studio)轉型為一款專用的 AI 輔助應用程式,協助創作者在平台上擴大影響力。透過提供這項由人工智慧驅動的工具,Meta 旨在面對 TikTok 和 YouTube 的激烈競爭,仍能留住 Facebook 上的創作者。該公司亦預期此應用程式能減少對 ChatGPT 等外部工具在內容構思與表現分析方面的依賴。目前該新應用程式正針
メタのAIベンチマークって怪しくない?🤔 人間が好みで評価するランダムなランキングより、実用的なテストの方が信用できると思う。結局ベンチマークゲームに夢中になる企業より、実際に役立つAIを作ってる会社の方が価値あるよね。 #AIベンチマーク
Meta's Maverick hitting second on LM Arena? Impressive, but I'm skeptical about those benchmarks. Feels like a hype train—wonder if it’s more flash than substance. 🤔 Anyone tested it in real-world tasks yet?
Meta's Maverick AI model is impressive, snagging second place on LM Arena! But are the benchmarks really telling the whole story? It's cool to see AI models go head-to-head, but I'm not sure if it's all fair play. Makes you wonder, right? 🤔 Maybe we need a more transparent way to judge these models!
मेटा का नया AI मॉडल, मैवरिक, LM एरिना में दूसरे स्थान पर पहुंचा! यह प्रभावशाली है, लेकिन क्या बेंचमार्क वास्तव में पूरी कहानी बता रहे हैं? AI मॉडल्स को आपस में प्रतिस्पर्धा करते देखना मजेदार है, लेकिन मुझे नहीं पता कि यह निष्पक्ष है या नहीं। आपको सोचने पर मजबूर करता है, है ना? 🤔 शायद हमें इन मॉडल्स को जज करने का एक और पारदर्शी तरीका चाहिए!
메타의 새로운 AI 모델, 마브릭이 LM Arena에서 2위를 차지하다니 대단해요! 하지만 벤치마크가 정말 모든 것을 말해주고 있는지 궁금해요. AI 모델 간의 경쟁은 재미있지만, 공정한지 확신할 수 없네요. 더 투명한 평가 방법이 필요할 것 같아요 🤔





首頁






