選項
首頁
新聞
Meta的AI模型基準:誤導性?

Meta的AI模型基準:誤導性?

2025-04-10
145

Meta的AI模型基準:誤導性?

所以,Meta 在週末推出了他們的新 AI 模型 Maverick,它已經在 LM Arena 上掀起波瀾,奪得了第二名的位置。你知道的,那是個人類可以扮演法官與陪審團的地方,比較不同的 AI 模型並挑選他們的最愛。但是,等等,有個轉折!結果顯示,在 LM Arena 上展現風采的 Maverick 版本,與開發者可以下載並使用的版本並不完全相同。

一些在 X(是的,就是以前被稱為 Twitter 的平台)上的敏銳 AI 研究人員發現,Meta 將 LM Arena 上的版本稱為「實驗性聊天版本」。如果你偷瞄 Llama 網站,會看到一張圖表透露了真相,說測試是用「針對對話性優化的 Llama 4 Maverick」進行的。我們之前討論過這個,但 LM Arena 並不完全是衡量 AI 表現的黃金標準。大多數 AI 公司不會為了在這個測試中獲得更好成績而特意調整他們的模型——至少他們不會承認這一點。

問題在於,當你調整一個模型以在基準測試中表現出色,卻向公眾發布一個不同的「原版」版本時,開發者很難判斷這個模型在現實場景中的實際表現如何。而且,這有點誤導,對吧?基準測試雖然有其缺陷,但應該能清楚地展示一個模型在不同任務上的能力和局限性。

X 上的研究人員很快注意到,你可以下載的 Maverick 與 LM Arena 上的版本之間存在一些重大差異。Arena 版本似乎特別喜歡使用表情符號,而且愛給出冗長的回答。

好的,Llama 4 確實有點被過分誇大了,哈哈,這是什麼長篇大論的城市 pic.twitter.com/y3GvhbVz65

— Nathan Lambert (@natolambert) 2025年4月6日

不知為何,Arena 中的 Llama 4 模型使用了更多的表情符號

在 together.ai 上,它看起來更好: pic.twitter.com/f74ODX4zTt

— Tech Dev Notes (@techdevnotes) 2025年4月6日

我們已經聯繫了 Meta 和運營 LM Arena 的 Chatbot Arena 團隊,看看他們對此有什麼說法。敬請期待!

相關文章
Meta AI 現已開始在 Facebook Marketplace 上回覆買家的訊息 Meta AI 現已開始在 Facebook Marketplace 上回覆買家的訊息 Facebook Marketplace 推出新的 Meta AI 功能,包括針對買家詢問的自動回覆,該公司於週四宣布。該平台還運用 AI 來加速商品上架、摘要賣家檔案,並現在允許賣家在商品列表中提供運送服務。由於賣家經常收到大量買家詢問,Facebook 正透過 Meta AI 驅動的自動回覆功能來簡化此流程。當買家詢問商品庫存狀況時,賣家可利用 Meta AI 根據商品資訊(如描述、庫存狀況、
Meta 簽署協議,採購數百萬顆亞馬遜 AI 處理器 Meta 簽署協議,採購數百萬顆亞馬遜 AI 處理器 亞馬遜已與 Meta 達成一項重要合作,再次仰賴其自行設計的晶片。亞馬遜週五證實,Meta 已同意部署數百萬顆 AWS Graviton 晶片,以滿足其日益增長的人工智慧需求。請注意,AWS Graviton 是一款基於 ARM 架構的 CPU(中央處理器,專為通用運算設計),而非 GPU(圖形處理器)。雖然 GPU 仍是訓練大型模型的首選晶片,但一旦模型訓練完成,基於這些模型建構的 AI 代理程
Meta 的天然氣需求激增可能為南達科他州的電力網注入動能 Meta 的天然氣需求激增可能為南達科他州的電力網注入動能 資料中心的規模已膨脹至如此之大,其用電量如今已與美國整個州的用電量相當。以 Meta 的 Hyperion AI 資料中心為例:一旦完工,其用電量將與南達科他州相當。Meta最近宣布,除了已規劃的三座天然氣發電廠外,將再投資興建七座,以支援其耗資270億美元的資料中心。這十座位於路易斯安那州的發電廠合計將產生約7.5吉瓦的電力——略高於南達科他州全州的總發電量。與許多科技公司一樣,Meta 長期以
相關專題推薦
商業 最佳 AI 支出追蹤工具:掃描收據並自動分類公司開支
最佳 AI 支出追蹤工具:掃描收據並自動分類公司開支

2026 年最新最佳 AI 報銷管理工具:備受好評的解決方案,可自動掃描收據並分類企業支出。探索強大且顛覆傳統的解決方案,助您輕鬆管理報銷、精準追蹤財務,並簡化合規流程。我們精心整理並每週更新的免費與付費方案比較指南,將協助您找到最合適的選擇。透過 XIX.AI 的專家精選,釋放您的 AI 優勢。

10 個工具
xix.ai
商業 最佳 AI 招聘工具:篩選履歷與自動化安排候選人面試
最佳 AI 招聘工具:篩選履歷與自動化安排候選人面試

在 XIX.AI 探索 2026 年最新且評價最高的 AI 招聘工具。我們精心挑選的清單收錄了強大且具顛覆性的解決方案,可協助篩選履歷並自動化安排候選人面試。透過實際測試與每週更新的排行榜,比較免費與付費選項。立即找到最適合您的招聘助手,並優化您的招聘流程!

10 個工具
xix.ai
生產率 AI 個人健康與專注力教練:管理倦怠感並提升精神能量
AI 個人健康與專注力教練:管理倦怠感並提升精神能量

立即在 XIX.AI 探索 2026 年最佳 AI 個人健康與專注力教練。我們精心策劃的排行榜收錄了備受好評、能帶來革命性改變的工具,助您管理倦怠感並提升精神能量。透過實際使用心得,比較免費與付費方案的差異。立即開啟通往巔峰生產力與身心健康的道路。

10 個工具
xix.ai
聊天機器人 最受好評的 AI 浪漫聊天機器人:透過一貫的個性建立長期關係
最受好評的 AI 浪漫聊天機器人:透過一貫的個性建立長期關係

探索 2026 年最新、評價最高的 AI 浪漫聊天機器人,助您建立真摯且長久的連結。我們精心整理的清單包含功能強大且性格鮮明的聊天機器人、免費與付費版本的比較,以及實際測試結果。立即前往 XIX.AI 尋找您的完美伴侶,並開始建立這段關係吧。

10 個工具
xix.ai
教育與學習 最佳AI資料科學導師:精通SQL、Pandas及機器學習工作流程
最佳AI資料科學導師:精通SQL、Pandas及機器學習工作流程

探索2026年最優秀的人工智慧資料科學導師,幫助他們掌握SQL、Pandas以及機器學習工作流程。在XIX.AI上檢視我們精心挑選的頂級導師名單,獲得強大而具有變革性的指導。透過對比免費和付費選項,並結合實際應用案例進行了解,今天就開啟你的資料科學精通之路吧。

10 個工具
xix.ai
聊天機器人 最佳 AI 調情與對話訓練工具:即時提升社交魅力與自信
最佳 AI 調情與對話訓練工具:即時提升社交魅力與自信

在 XIX.AI 探索 2026 年最頂尖的 AI 調情與對話訓練工具。我們精心挑選、評價最高的精選清單,能助您即時建立社交魅力與自信。探索這些必試且能徹底改變遊戲規則的工具,並透過免費與付費版本的比較,以及每週更新的排行榜,立即解鎖您的社交優勢。

10 個工具
xix.ai
評論 (37)
0/500
RalphGarcia
RalphGarcia 2025-10-13 02:30:34

メタのAIベンチマークって怪しくない?🤔 人間が好みで評価するランダムなランキングより、実用的なテストの方が信用できると思う。結局ベンチマークゲームに夢中になる企業より、実際に役立つAIを作ってる会社の方が価値あるよね。 #AIベンチマーク

ScottWalker
ScottWalker 2025-07-28 09:20:54

Meta's Maverick hitting second on LM Arena? Impressive, but I'm skeptical about those benchmarks. Feels like a hype train—wonder if it’s more flash than substance. 🤔 Anyone tested it in real-world tasks yet?

KennethMartin
KennethMartin 2025-04-21 18:14:21

Meta's Maverick AI model is impressive, snagging second place on LM Arena! But are the benchmarks really telling the whole story? It's cool to see AI models go head-to-head, but I'm not sure if it's all fair play. Makes you wonder, right? 🤔 Maybe we need a more transparent way to judge these models!

WalterThomas
WalterThomas 2025-04-21 10:55:14

मेटा का नया AI मॉडल, मैवरिक, LM एरिना में दूसरे स्थान पर पहुंचा! यह प्रभावशाली है, लेकिन क्या बेंचमार्क वास्तव में पूरी कहानी बता रहे हैं? AI मॉडल्स को आपस में प्रतिस्पर्धा करते देखना मजेदार है, लेकिन मुझे नहीं पता कि यह निष्पक्ष है या नहीं। आपको सोचने पर मजबूर करता है, है ना? 🤔 शायद हमें इन मॉडल्स को जज करने का एक और पारदर्शी तरीका चाहिए!

JohnYoung
JohnYoung 2025-04-18 23:03:42

메타의 새로운 AI 모델, 마브릭이 LM Arena에서 2위를 차지하다니 대단해요! 하지만 벤치마크가 정말 모든 것을 말해주고 있는지 궁금해요. AI 모델 간의 경쟁은 재미있지만, 공정한지 확신할 수 없네요. 더 투명한 평가 방법이 필요할 것 같아요 🤔

JohnHernández
JohnHernández 2025-04-18 00:58:48

Meta's Maverick AI model snagging second place on LM Arena is pretty cool, but the benchmarks might be a bit off! 🤔 It's fun to see these models go head-to-head, but I'm not sure if the results are totally fair. Worth keeping an eye on! 👀

OR