Meta bảo vệ bản phát hành Llama 4, trích dẫn lỗi là nguyên nhân của các báo cáo chất lượng hỗn hợp

Cuối tuần qua, Meta, nhà máy điện đằng sau Facebook, Instagram, WhatsApp và Quest VR, đã làm mọi người ngạc nhiên khi tiết lộ mô hình ngôn ngữ AI mới nhất của họ, Llama 4. Hơn nữa, cả ba mô hình đều đi kèm với các cửa sổ bối cảnh mở rộng, cho phép chúng xử lý thêm thông tin trong một tương tác.

Bất chấp sự phấn khích của việc phát hành, phản ứng của cộng đồng AI đã rất ấm áp. Vào thứ bảy, Meta đã thực hiện hai trong số các mô hình này, Llama 4 Scout và Llama 4 Maverick, có sẵn để tải xuống và sử dụng, nhưng phản hồi đã không nhiệt tình.

Llama 4 Sparks nhầm lẫn và chỉ trích giữa người dùng AI

Một bài đăng chưa được xác minh trên diễn đàn 1point3acres, một cộng đồng ngôn ngữ Trung Quốc nổi tiếng ở Bắc Mỹ, đã tìm đường đến Subreddit R/Localllama trên Reddit. Bài đăng, được cho là từ một nhà nghiên cứu tại Tổ chức Genai của Meta, tuyên bố rằng Llama 4 kém hơn về điểm chuẩn của bên thứ ba. Nó cho rằng sự lãnh đạo của Meta đã thao túng kết quả bằng cách pha trộn các bộ kiểm tra trong quá trình đào tạo sau để đáp ứng các số liệu khác nhau và đưa ra một kết quả thuận lợi. Tính xác thực của tuyên bố này đã được đáp ứng với sự hoài nghi, và Meta vẫn chưa trả lời các câu hỏi từ VentureBeat.

Tuy nhiên, những nghi ngờ về hiệu suất của Llama 4 đã không dừng lại ở đó. Trên X, người dùng @CTO_Junior bày tỏ sự hoài nghi về hiệu suất của mô hình, trích dẫn một bài kiểm tra độc lập trong đó Llama 4 Maverick chỉ đạt 16% trên điểm chuẩn Polyglot Aider, trong đó kiểm tra các tác vụ mã hóa. Điểm này thấp hơn đáng kể so với các mẫu cũ, có kích thước tương tự như Deepseek V3 và Claude 3.7 Sonnet.

Tiến sĩ AI và tác giả Andriy Burkov cũng đã đến X để đặt câu hỏi cho cửa sổ bối cảnh 10 triệu người được quảng cáo của người mẫu cho Llama 4 Scout, nói rằng đó là "ảo" vì mô hình không được đào tạo trên các dấu nhắc dài hơn 256k mã thông báo. Ông cảnh báo rằng việc gửi lời nhắc dài hơn có thể sẽ dẫn đến đầu ra chất lượng thấp.

Trên Subreddit R/Localllama, người dùng DR_Karminski đã chia sẻ sự thất vọng với Llama 4, so sánh hiệu suất kém của nó với mô hình V3 không hợp lý của Deepseek về các nhiệm vụ như mô phỏng các chuyển động bóng trong một con heptagon.

Nathan Lambert, một cựu nhà nghiên cứu meta và nhà khoa học nghiên cứu cao cấp hiện tại tại AI2, đã chỉ trích các so sánh điểm chuẩn của Meta trên blog thay thế kết nối của ông. Ông chỉ ra rằng mô hình llama 4 maverick được sử dụng trong các tài liệu quảng cáo của Meta khác với mô hình được phát hành công khai, thay vào đó được tối ưu hóa cho cuộc trò chuyện. Lambert lưu ý sự khác biệt, nói rằng, "Sneaky. Kết quả dưới đây là giả, và đó là một chút lớn đối với cộng đồng của Meta khi không phát hành mô hình mà họ đã sử dụng để tạo ra sự thúc đẩy tiếp thị lớn của họ." Ông nói thêm rằng trong khi mô hình quảng cáo là "tăng danh tiếng kỹ thuật của bản phát hành vì nhân vật của nó là vị thành niên", mô hình thực tế có sẵn trên các nền tảng khác là "khá thông minh và có giai điệu hợp lý".

Meta trả lời, từ chối 'đào tạo về các bộ kiểm tra' và trích dẫn các lỗi khi thực hiện do triển khai nhanh

Để đối phó với những lời chỉ trích và cáo buộc, VP của Meta và Trưởng phòng Genai, Ahmad al-Dahle, đã đến X để giải quyết các mối quan tâm. Ông bày tỏ sự nhiệt tình với sự tham gia của cộng đồng với Llama 4 nhưng thừa nhận các báo cáo về chất lượng không nhất quán trên các dịch vụ khác nhau. Ông quy kết những vấn đề này cho việc triển khai nhanh chóng và thời gian cần thiết để các triển khai công cộng ổn định. Al-Dahle kiên quyết phủ nhận các cáo buộc đào tạo về các bộ kiểm tra, nhấn mạnh rằng chất lượng biến đổi là do lỗi thực hiện thay vì bất kỳ hành vi sai trái nào. Ông tái khẳng định niềm tin của Meta vào những tiến bộ đáng kể của các mô hình Llama 4 và cam kết của họ để làm việc với cộng đồng để nhận ra tiềm năng của họ.

Tuy nhiên, câu trả lời đã làm rất ít để dập tắt sự thất vọng của cộng đồng, với nhiều người vẫn báo cáo hiệu suất kém và yêu cầu nhiều tài liệu kỹ thuật hơn về các quy trình đào tạo của các mô hình. Bản phát hành này đã phải đối mặt với nhiều vấn đề hơn các phiên bản Llama trước đây, đặt ra câu hỏi về sự phát triển và triển khai của nó.

Thời điểm của bản phát hành này là đáng chú ý, vì nó đi theo sự ra đi của Joelle Pineau, phó chủ tịch nghiên cứu của Meta, người đã tuyên bố thoát khỏi LinkedIn vào tuần trước với lòng biết ơn về thời gian của cô tại công ty. Pineau cũng đã quảng bá cho gia đình mô hình Llama 4 vào cuối tuần qua.

Khi Llama 4 tiếp tục được các nhà cung cấp suy luận khác nhận kết với kết quả hỗn hợp, rõ ràng việc phát hành ban đầu không phải là thành công mà Meta có thể hy vọng. Meta Llamacon sắp tới vào ngày 29 tháng 4, đây sẽ là cuộc họp mặt đầu tiên cho các nhà phát triển bên thứ ba của gia đình mô hình, có khả năng là một điểm nóng của cuộc thảo luận và tranh luận. Chúng tôi sẽ theo dõi chặt chẽ các phát triển, vì vậy hãy theo dõi.