Điểm chuẩn mô hình AI của Meta: sai lệch?
Vì vậy, Meta đã bỏ mô hình AI mới của họ, Maverick, vào cuối tuần qua, và nó đã tạo ra sóng bằng cách chộp lấy vị trí thứ hai trên LM Arena. Bạn biết đấy, đó là nơi con người có thể chơi thẩm phán và bồi thẩm đoàn, so sánh các mô hình AI khác nhau và chọn mục yêu thích của họ. Nhưng, giữ lấy, có một sự thay đổi! Hóa ra phiên bản Maverick sắp xếp nội dung của nó trên LM Arena không hoàn toàn giống với phiên bản bạn có thể tải xuống và chơi với tư cách là nhà phát triển.
Một số nhà nghiên cứu AI mắt đại bàng trên X (vâng, nền tảng trước đây được gọi là Twitter) đã phát hiện ra rằng Meta gọi phiên bản LM Arena là "phiên bản trò chuyện thử nghiệm". Và nếu bạn nhìn trộm trên trang web Llama, có một biểu đồ làm đổ đậu, nói rằng việc thử nghiệm được thực hiện với "Llama 4 Maverick được tối ưu hóa cho cuộc trò chuyện". Bây giờ, chúng tôi đã nói về điều này trước đây, nhưng LM Arena không chính xác là tiêu chuẩn vàng để đo hiệu suất AI. Hầu hết các công ty AI không gây rối với các mô hình của họ chỉ để ghi điểm tốt hơn trong bài kiểm tra này hoặc ít nhất, họ không thừa nhận điều đó.
Vấn đề là, khi bạn điều chỉnh một mô hình thành một điểm chuẩn nhưng sau đó phát hành phiên bản "vani" khác cho công chúng, thật khó khăn cho các nhà phát triển để tìm ra mô hình sẽ thực sự hoạt động tốt như thế nào trong các kịch bản trong thế giới thực. Thêm vào đó, đó là sai lệch, phải không? Điểm chuẩn, thiếu sót như họ, sẽ cho chúng ta một bức tranh rõ ràng về những gì một mô hình có thể và không thể làm được trên các nhiệm vụ khác nhau.
Các nhà nghiên cứu trên X đã nhanh chóng nhận thấy một số khác biệt lớn giữa Maverick bạn có thể tải xuống và một trong những trên LM Arena. Phiên bản đấu trường rõ ràng là tất cả về biểu tượng cảm xúc và thích cho bạn những câu trả lời dài, rút ra.
Được rồi llama 4 là một thứ được nấu chín lol, bức ảnh yap city này là gì.
- Nathan Lambert (@natolambert) ngày 6 tháng 4 năm 2025
Vì một số lý do, mô hình Llama 4 trong đấu trường sử dụng nhiều biểu tượng cảm xúc hơn
trên cùng nhau. AI, có vẻ tốt hơn: pic.twitter.com/f74odx4ztt
- Ghi chú công nghệ (@TechDevNotes) ngày 6 tháng 4 năm 2025
Chúng tôi đã liên hệ với Meta và những người ở Chatbot Arena, người điều hành LM Arena, để xem những gì họ nói về tất cả những điều này. Hãy theo dõi!
Bài viết liên quan
Meta AI在歐盟推出並實施限制
Meta 的由人工智能驱动的虛擬助手 Meta AI，終於在歐洲聯盟登陸，這是在與歐洲隱私當局的激烈規管爭議中實現的。該公司在星期四宣布，這個類似聊天機器人的工具將整合到其社交平台套件中，不過其功能比美國市場上的版本更加有限。在另一項發展中，Meta 向 TechCrunch 確認，Meta AI 即將在英國的 WhatsApp 上推出，從最初於去年十月在
OpenAI 聘請前Facebook應用程式負責人
菲吉·西莫加入OpenAI担任应用程序业务主管OpenAI通过聘请现任Instacart首席执行官兼前Facebook应用程序负责人菲吉·西莫来领导其应用程序业务，引起了广泛关注。这一任命直接来自高层，OpenAI首席执行官山姆·阿尔特曼在X上分享道，这个新职位将使他能够更多地关注研究、计算和安全性。显然，他们正在为应用程序领域的某些令人兴奋的发展奠定基础！
Meta預測到2035年生成性AI收入將達1.4萬億美元
去年，Meta大膽預測其生成式AI產品到2025年將產生20億至30億美元的收入。展望更遠的未來，他們預計到2035年將增長到驚人的4600億至1.4兆美元之間。這些預測是在週三浮出水面的法庭文件中揭示的，當時正值書籍作者對Meta提起訴訟。他們指控該公司未經許可就用他們的作品訓練AI。然而，文件並未具體說明Meta將何謂“生成式AI產品”。不過，眾所周知，
Nhận xét (35)
0/200
![JerryGonzalez]()
JerryGonzalez
00:00:00 GMT Ngày 10 tháng 4 năm 2025
Meta's AI model benchmarks seem a bit off to me. Maverick got second place, but I've used it and it's not that great. The interface is clunky and the results are hit or miss. Maybe they're just trying to hype it up? I'd give it a pass for now.
0
![CarlKing]()
CarlKing
00:00:00 GMT Ngày 10 tháng 4 năm 2025
MetaのAIモデルのベンチマークは私には少しおかしいように感じます。Maverickは2位を獲得しましたが、使ってみた感じではそれほど良くありません。インターフェースがぎこちなく、結果も当たり外れがあります。もしかしたら、ただ盛り上げようとしているだけかもしれませんね。今はパスしておきます。
0
![SamuelEvans]()
SamuelEvans
00:00:00 GMT Ngày 10 tháng 4 năm 2025
Meta의 AI 모델 벤치마크가 내겐 좀 이상해 보여. Maverick이 2위를 했지만, 써보니 그리 대단하지 않아. 인터페이스가 어색하고 결과도 들쑥날쑥해. 어쩌면 그냥 과대광고하려고 하는 건지도 몰라. 지금은 패스할게.
0
![BenWalker]()
BenWalker
00:00:00 GMT Ngày 10 tháng 4 năm 2025
Os benchmarks do modelo de IA da Meta parecem um pouco estranhos para mim. O Maverick ficou em segundo lugar, mas eu usei e não é tão bom assim. A interface é desajeitada e os resultados são inconsistentes. Talvez eles estejam apenas tentando criar hype? Eu passaria por agora.
0
![RobertLewis]()
RobertLewis
00:00:00 GMT Ngày 10 tháng 4 năm 2025
Los benchmarks del modelo de IA de Meta me parecen un poco extraños. Maverick quedó en segundo lugar, pero lo he usado y no es tan bueno. La interfaz es torpe y los resultados son inconsistentes. ¿Quizás solo están tratando de generar hype? Por ahora, lo dejaría pasar.
0
![KevinBaker]()
KevinBaker
00:00:00 GMT Ngày 12 tháng 4 năm 2025
I tried Meta's Maverick and it's pretty good, but those benchmarks seem a bit off to me. It's not as smooth as they claim, and sometimes it's just plain wrong. I'm not sure if it's worth the hype. Maybe they need to tweak their testing methods?
0
Vì vậy, Meta đã bỏ mô hình AI mới của họ, Maverick, vào cuối tuần qua, và nó đã tạo ra sóng bằng cách chộp lấy vị trí thứ hai trên LM Arena. Bạn biết đấy, đó là nơi con người có thể chơi thẩm phán và bồi thẩm đoàn, so sánh các mô hình AI khác nhau và chọn mục yêu thích của họ. Nhưng, giữ lấy, có một sự thay đổi! Hóa ra phiên bản Maverick sắp xếp nội dung của nó trên LM Arena không hoàn toàn giống với phiên bản bạn có thể tải xuống và chơi với tư cách là nhà phát triển.
Một số nhà nghiên cứu AI mắt đại bàng trên X (vâng, nền tảng trước đây được gọi là Twitter) đã phát hiện ra rằng Meta gọi phiên bản LM Arena là "phiên bản trò chuyện thử nghiệm". Và nếu bạn nhìn trộm trên trang web Llama, có một biểu đồ làm đổ đậu, nói rằng việc thử nghiệm được thực hiện với "Llama 4 Maverick được tối ưu hóa cho cuộc trò chuyện". Bây giờ, chúng tôi đã nói về điều này trước đây, nhưng LM Arena không chính xác là tiêu chuẩn vàng để đo hiệu suất AI. Hầu hết các công ty AI không gây rối với các mô hình của họ chỉ để ghi điểm tốt hơn trong bài kiểm tra này hoặc ít nhất, họ không thừa nhận điều đó.
Vấn đề là, khi bạn điều chỉnh một mô hình thành một điểm chuẩn nhưng sau đó phát hành phiên bản "vani" khác cho công chúng, thật khó khăn cho các nhà phát triển để tìm ra mô hình sẽ thực sự hoạt động tốt như thế nào trong các kịch bản trong thế giới thực. Thêm vào đó, đó là sai lệch, phải không? Điểm chuẩn, thiếu sót như họ, sẽ cho chúng ta một bức tranh rõ ràng về những gì một mô hình có thể và không thể làm được trên các nhiệm vụ khác nhau.
Các nhà nghiên cứu trên X đã nhanh chóng nhận thấy một số khác biệt lớn giữa Maverick bạn có thể tải xuống và một trong những trên LM Arena. Phiên bản đấu trường rõ ràng là tất cả về biểu tượng cảm xúc và thích cho bạn những câu trả lời dài, rút ra.
Được rồi llama 4 là một thứ được nấu chín lol, bức ảnh yap city này là gì.
- Nathan Lambert (@natolambert) ngày 6 tháng 4 năm 2025
Vì một số lý do, mô hình Llama 4 trong đấu trường sử dụng nhiều biểu tượng cảm xúc hơn
- Ghi chú công nghệ (@TechDevNotes) ngày 6 tháng 4 năm 2025
trên cùng nhau. AI, có vẻ tốt hơn: pic.twitter.com/f74odx4ztt
Chúng tôi đã liên hệ với Meta và những người ở Chatbot Arena, người điều hành LM Arena, để xem những gì họ nói về tất cả những điều này. Hãy theo dõi!
Meta AI在歐盟推出並實施限制
Meta 的由人工智能驱动的虛擬助手 Meta AI，終於在歐洲聯盟登陸，這是在與歐洲隱私當局的激烈規管爭議中實現的。該公司在星期四宣布，這個類似聊天機器人的工具將整合到其社交平台套件中，不過其功能比美國市場上的版本更加有限。在另一項發展中，Meta 向 TechCrunch 確認，Meta AI 即將在英國的 WhatsApp 上推出，從最初於去年十月在
OpenAI 聘請前Facebook應用程式負責人
菲吉·西莫加入OpenAI担任应用程序业务主管OpenAI通过聘请现任Instacart首席执行官兼前Facebook应用程序负责人菲吉·西莫来领导其应用程序业务，引起了广泛关注。这一任命直接来自高层，OpenAI首席执行官山姆·阿尔特曼在X上分享道，这个新职位将使他能够更多地关注研究、计算和安全性。显然，他们正在为应用程序领域的某些令人兴奋的发展奠定基础！
Meta預測到2035年生成性AI收入將達1.4萬億美元
去年，Meta大膽預測其生成式AI產品到2025年將產生20億至30億美元的收入。展望更遠的未來，他們預計到2035年將增長到驚人的4600億至1.4兆美元之間。這些預測是在週三浮出水面的法庭文件中揭示的，當時正值書籍作者對Meta提起訴訟。他們指控該公司未經許可就用他們的作品訓練AI。然而，文件並未具體說明Meta將何謂“生成式AI產品”。不過，眾所周知，
00:00:00 GMT Ngày 10 tháng 4 năm 2025
Meta's AI model benchmarks seem a bit off to me. Maverick got second place, but I've used it and it's not that great. The interface is clunky and the results are hit or miss. Maybe they're just trying to hype it up? I'd give it a pass for now.
0
00:00:00 GMT Ngày 10 tháng 4 năm 2025
MetaのAIモデルのベンチマークは私には少しおかしいように感じます。Maverickは2位を獲得しましたが、使ってみた感じではそれほど良くありません。インターフェースがぎこちなく、結果も当たり外れがあります。もしかしたら、ただ盛り上げようとしているだけかもしれませんね。今はパスしておきます。
0
00:00:00 GMT Ngày 10 tháng 4 năm 2025
Meta의 AI 모델 벤치마크가 내겐 좀 이상해 보여. Maverick이 2위를 했지만, 써보니 그리 대단하지 않아. 인터페이스가 어색하고 결과도 들쑥날쑥해. 어쩌면 그냥 과대광고하려고 하는 건지도 몰라. 지금은 패스할게.
0
00:00:00 GMT Ngày 10 tháng 4 năm 2025
Os benchmarks do modelo de IA da Meta parecem um pouco estranhos para mim. O Maverick ficou em segundo lugar, mas eu usei e não é tão bom assim. A interface é desajeitada e os resultados são inconsistentes. Talvez eles estejam apenas tentando criar hype? Eu passaria por agora.
0
00:00:00 GMT Ngày 10 tháng 4 năm 2025
Los benchmarks del modelo de IA de Meta me parecen un poco extraños. Maverick quedó en segundo lugar, pero lo he usado y no es tan bueno. La interfaz es torpe y los resultados son inconsistentes. ¿Quizás solo están tratando de generar hype? Por ahora, lo dejaría pasar.
0
00:00:00 GMT Ngày 12 tháng 4 năm 2025
I tried Meta's Maverick and it's pretty good, but those benchmarks seem a bit off to me. It's not as smooth as they claim, and sometimes it's just plain wrong. I'm not sure if it's worth the hype. Maybe they need to tweak their testing methods?
0
