Meta bảo vệ bản phát hành Llama 4, trích dẫn lỗi là nguyên nhân của các báo cáo chất lượng hỗn hợp

Trong cuối tuần, Meta, gã khổng lồ đứng sau Facebook, Instagram, WhatsApp và Quest VR, đã khiến mọi người bất ngờ khi công bố mô hình ngôn ngữ AI mới nhất của họ, Llama 4. Không chỉ một, mà ba phiên bản mới đã được giới thiệu, mỗi phiên bản đều tự hào có khả năng nâng cao nhờ kiến trúc "Mixture-of-Experts" và một phương pháp huấn luyện mới gọi là MetaP, sử dụng các siêu tham số cố định. Hơn nữa, cả ba mô hình đều có cửa sổ ngữ cảnh mở rộng, cho phép chúng xử lý nhiều thông tin hơn trong một lần tương tác.

Mặc dù sự phấn khích của việc ra mắt, phản ứng của cộng đồng AI chỉ ở mức thờ ơ. Vào thứ Bảy, Meta đã công bố hai trong số các mô hình này, Llama 4 Scout và Llama 4 Maverick, có sẵn để tải xuống và sử dụng, nhưng phản hồi nhận được thì xa vời với sự nhiệt tình.

Llama 4 Gây Ra Sự Nhầm Lẫn và Chỉ Trích Trong Cộng Đồng Người Dùng AI

Một bài đăng chưa được xác minh trên diễn đàn 1point3acres, một cộng đồng ngôn ngữ Trung Quốc phổ biến ở Bắc Mỹ, đã xuất hiện trên subreddit r/LocalLlama trên Reddit. Bài đăng, được cho là từ một nhà nghiên cứu tại tổ chức GenAI của Meta, tuyên bố rằng Llama 4 hoạt động kém hiệu quả trong các bài kiểm tra bên thứ ba nội bộ. Bài đăng này cho rằng lãnh đạo của Meta đã thao túng kết quả bằng cách trộn lẫn các bộ kiểm tra trong quá trình hậu huấn luyện để đáp ứng các tiêu chí khác nhau và thể hiện một kết quả tích cực. Tính xác thực của tuyên bố này bị nghi ngờ, và Meta vẫn chưa trả lời các câu hỏi từ VentureBeat.

Tuy nhiên, những nghi ngờ về hiệu suất của Llama 4 không dừng lại ở đó. Trên X, người dùng @cto_junior bày tỏ sự không tin tưởng vào hiệu suất của mô hình, dẫn chứng một bài kiểm tra độc lập nơi Llama 4 Maverick chỉ đạt 16% trên bài kiểm tra polyglot aider, kiểm tra các nhiệm vụ lập trình. Điểm số này thấp hơn đáng kể so với các mô hình có kích thước tương tự như DeepSeek V3 và Claude 3.7 Sonnet.

Tiến sĩ AI và tác giả Andriy Burkov cũng lên X để đặt câu hỏi về cửa sổ ngữ cảnh 10 triệu token được quảng cáo cho Llama 4 Scout, cho rằng nó là "ảo" vì mô hình không được huấn luyện trên các lời nhắc dài hơn 256k token. Ông cảnh báo rằng việc gửi các lời nhắc dài hơn có thể dẫn đến kết quả chất lượng thấp.

Trên subreddit r/LocalLlama, người dùng Dr_Karminski bày tỏ sự thất vọng với Llama 4, so sánh hiệu suất kém của nó với mô hình V3 không tư duy của DeepSeek trong các nhiệm vụ như mô phỏng chuyển động của quả bóng trong một hình thất giác.

Nathan Lambert, một cựu nhà nghiên cứu của Meta và hiện là Nhà khoa học Nghiên cứu Cấp cao tại AI2, đã chỉ trích các so sánh chuẩn mực của Meta trên blog Interconnects Substack của mình. Ông chỉ ra rằng mô hình Llama 4 Maverick được sử dụng trong các tài liệu quảng cáo của Meta khác với mô hình được phát hành công khai, được tối ưu hóa cho tính hội thoại. Lambert lưu ý sự không nhất quán, nói rằng, "Xảo quyệt. Các kết quả dưới đây là giả, và đó là một sự xúc phạm lớn đối với cộng đồng của Meta khi không phát hành mô hình mà họ đã sử dụng để tạo ra chiến dịch tiếp thị lớn của mình." Ông nói thêm rằng trong khi mô hình quảng cáo "đang làm xấu đi danh tiếng kỹ thuật của việc ra mắt vì tính cách của nó là trẻ con," mô hình thực tế có sẵn trên các nền tảng khác thì "khá thông minh và có giọng điệu hợp lý."

Meta Phản Hồi, Phủ Nhận Việc 'Huấn Luyện Trên Bộ Kiểm Tra' và Dẫn Chứng Lỗi Triển Khai Do Ra Mắt Nhanh

Để đáp lại các chỉ trích và cáo buộc, Phó Chủ tịch và Trưởng bộ phận GenAI của Meta, Ahmad Al-Dahle, đã lên X để giải quyết các mối quan ngại. Ông bày tỏ sự phấn khích về sự tham gia của cộng đồng với Llama 4 nhưng thừa nhận các báo cáo về chất lượng không nhất quán trên các dịch vụ khác nhau. Ông cho rằng các vấn đề này là do triển khai nhanh và thời gian cần thiết để các triển khai công khai ổn định. Al-Dahle kiên quyết phủ nhận các cáo buộc về việc huấn luyện trên bộ kiểm tra, nhấn mạnh rằng chất lượng biến đổi là do lỗi triển khai chứ không phải bất kỳ hành vi sai trái nào. Ông tái khẳng định niềm tin của Meta vào những tiến bộ đáng kể của các mô hình Llama 4 và cam kết làm việc với cộng đồng để hiện thực hóa tiềm năng của chúng.

Tuy nhiên, phản hồi này không làm giảm bớt sự thất vọng của cộng đồng, với nhiều người vẫn báo cáo hiệu suất kém và yêu cầu thêm tài liệu kỹ thuật về quá trình huấn luyện của các mô hình. Lần phát hành này đã gặp nhiều vấn đề hơn so với các phiên bản Llama trước, làm dấy lên câu hỏi về quá trình phát triển và triển khai của nó.

Thời điểm của lần phát hành này đáng chú ý, vì nó diễn ra sau sự ra đi của Joelle Pineau, Phó Chủ tịch Nghiên cứu của Meta, người đã thông báo rời công ty trên LinkedIn vào tuần trước với lòng biết ơn về thời gian của mình tại công ty. Pineau cũng đã quảng bá gia đình mô hình Llama 4 trong cuối tuần.

Khi Llama 4 tiếp tục được các nhà cung cấp suy luận khác áp dụng với kết quả lẫn lộn, rõ ràng là lần phát hành ban đầu không phải là thành công như Meta có thể đã hy vọng. Hội nghị Meta LlamaCon sắp tới vào ngày 29 tháng 4, sẽ là cuộc tụ họp đầu tiên cho các nhà phát triển bên thứ ba của gia đình mô hình, có khả năng sẽ là một lò tranh luận và thảo luận sôi nổi. Chúng tôi sẽ theo dõi sát sao các diễn biến, vì vậy hãy đón xem.