Điểm chuẩn mô hình AI của Meta: sai lệch?

Vì vậy, Meta đã bỏ mô hình AI mới của họ, Maverick, vào cuối tuần qua, và nó đã tạo ra sóng bằng cách chộp lấy vị trí thứ hai trên LM Arena. Bạn biết đấy, đó là nơi con người có thể chơi thẩm phán và bồi thẩm đoàn, so sánh các mô hình AI khác nhau và chọn mục yêu thích của họ. Nhưng, giữ lấy, có một sự thay đổi! Hóa ra phiên bản Maverick sắp xếp nội dung của nó trên LM Arena không hoàn toàn giống với phiên bản bạn có thể tải xuống và chơi với tư cách là nhà phát triển.

Một số nhà nghiên cứu AI mắt đại bàng trên X (vâng, nền tảng trước đây được gọi là Twitter) đã phát hiện ra rằng Meta gọi phiên bản LM Arena là "phiên bản trò chuyện thử nghiệm". Và nếu bạn nhìn trộm trên trang web Llama, có một biểu đồ làm đổ đậu, nói rằng việc thử nghiệm được thực hiện với "Llama 4 Maverick được tối ưu hóa cho cuộc trò chuyện". Bây giờ, chúng tôi đã nói về điều này trước đây, nhưng LM Arena không chính xác là tiêu chuẩn vàng để đo hiệu suất AI. Hầu hết các công ty AI không gây rối với các mô hình của họ chỉ để ghi điểm tốt hơn trong bài kiểm tra này hoặc ít nhất, họ không thừa nhận điều đó.

Vấn đề là, khi bạn điều chỉnh một mô hình thành một điểm chuẩn nhưng sau đó phát hành phiên bản "vani" khác cho công chúng, thật khó khăn cho các nhà phát triển để tìm ra mô hình sẽ thực sự hoạt động tốt như thế nào trong các kịch bản trong thế giới thực. Thêm vào đó, đó là sai lệch, phải không? Điểm chuẩn, thiếu sót như họ, sẽ cho chúng ta một bức tranh rõ ràng về những gì một mô hình có thể và không thể làm được trên các nhiệm vụ khác nhau.

Các nhà nghiên cứu trên X đã nhanh chóng nhận thấy một số khác biệt lớn giữa Maverick bạn có thể tải xuống và một trong những trên LM Arena. Phiên bản đấu trường rõ ràng là tất cả về biểu tượng cảm xúc và thích cho bạn những câu trả lời dài, rút ​​ra.

Được rồi llama 4 là một thứ được nấu chín lol, bức ảnh yap city này là gì.

- Nathan Lambert (@natolambert) ngày 6 tháng 4 năm 2025

Vì một số lý do, mô hình Llama 4 trong đấu trường sử dụng nhiều biểu tượng cảm xúc hơn

trên cùng nhau. AI, có vẻ tốt hơn: pic.twitter.com/f74odx4ztt

- Ghi chú công nghệ (@TechDevNotes) ngày 6 tháng 4 năm 2025

Chúng tôi đã liên hệ với Meta và những người ở Chatbot Arena, người điều hành LM Arena, để xem những gì họ nói về tất cả những điều này. Hãy theo dõi!