Meta tiết lộ Llama 4 với các mô hình Scout và Maverick Bối cảnh dài, sắp ra mắt tham số 2t sắp ra mắt!

Vào tháng 1 năm 2025, thế giới AI chấn động khi một công ty khởi nghiệp AI Trung Quốc ít được biết đến, DeepSeek, đã thách thức với mô hình suy luận ngôn ngữ mã nguồn mở đột phá của họ, DeepSeek R1. Mô hình này không chỉ vượt qua những gã khổng lồ như Meta mà còn làm điều đó với chi phí chỉ bằng một phần nhỏ—được đồn đại là chỉ vài triệu đô la. Đó là số tiền mà Meta có thể chi chỉ cho một vài lãnh đạo đội AI của họ! Tin tức này đã khiến Meta rơi vào tình trạng rối loạn, đặc biệt khi mô hình Llama mới nhất của họ, phiên bản 3.3, ra mắt chỉ một tháng trước, đã bắt đầu trông có vẻ lỗi thời.

Nhanh chóng tiến đến hôm nay, nhà sáng lập kiêm CEO của Meta, Mark Zuckerberg, đã lên Instagram để công bố ra mắt dòng Llama 4 mới. Dòng này bao gồm Llama 4 Maverick với 400 tỷ tham số và Llama 4 Scout với 109 tỷ tham số, cả hai đều có sẵn để các nhà phát triển tải xuống và bắt đầu thử nghiệm ngay lập tức trên llama.com và Hugging Face. Ngoài ra còn có một cái nhìn sơ lược về một mô hình khổng lồ với 2 nghìn tỷ tham số, Llama 4 Behemoth, vẫn đang trong quá trình huấn luyện, chưa có ngày ra mắt cụ thể.

Khả năng Đa phương thức và Ngữ cảnh Dài

Một trong những đặc điểm nổi bật của các mô hình mới này là tính chất đa phương thức. Chúng không chỉ xử lý văn bản mà còn có thể xử lý video và hình ảnh. Và chúng đi kèm với cửa sổ ngữ cảnh cực kỳ dài—1 triệu token cho Maverick và con số khổng lồ 10 triệu cho Scout. Để dễ hình dung, điều đó tương đương với việc xử lý tới 1.500 và 15.000 trang văn bản trong một lần! Hãy tưởng tượng những khả năng cho các lĩnh vực như y học, khoa học hoặc văn học, nơi cần xử lý và tạo ra lượng thông tin khổng lồ.

Kiến trúc Hỗn hợp Chuyên gia

Cả ba mô hình Llama 4 đều sử dụng kiến trúc "hỗn hợp chuyên gia (MoE)", một kỹ thuật đang tạo sóng gió, được phổ biến bởi các công ty như OpenAI và Mistral. Phương pháp này kết hợp nhiều mô hình nhỏ hơn, chuyên biệt thành một mô hình lớn hơn, hiệu quả hơn. Mỗi mô hình Llama 4 là sự kết hợp của 128 chuyên gia khác nhau, nghĩa là chỉ chuyên gia cần thiết và một chuyên gia chung xử lý mỗi token, giúp các mô hình tiết kiệm chi phí hơn và chạy nhanh hơn. Meta tự hào rằng Llama 4 Maverick có thể chạy trên một máy chủ Nvidia H100 DGX duy nhất, giúp việc triển khai trở nên dễ dàng.

Tiết kiệm Chi phí và Dễ tiếp cận

Meta tập trung vào việc làm cho các mô hình này dễ tiếp cận. Cả Scout và Maverick đều có sẵn để tự lưu trữ, và họ thậm chí đã chia sẻ một số ước tính chi phí hấp dẫn. Chẳng hạn, chi phí suy luận cho Llama 4 Maverick dao động từ 0,19 đến 0,49 đô la mỗi triệu token, một mức giá rất hời so với các mô hình độc quyền khác như GPT-4o. Và nếu bạn muốn sử dụng các mô hình này thông qua nhà cung cấp đám mây, Groq đã bước lên với mức giá cạnh tranh.

Suy luận Nâng cao và MetaP

Các mô hình này được xây dựng với trọng tâm là suy luận, lập trình và giải quyết vấn đề. Meta đã sử dụng một số kỹ thuật thông minh trong quá trình huấn luyện để nâng cao các khả năng này, như loại bỏ các gợi ý dễ và sử dụng học tăng cường liên tục với các gợi ý ngày càng khó. Họ cũng giới thiệu MetaP, một kỹ thuật mới cho phép đặt siêu tham số trên một mô hình và áp dụng chúng cho các mô hình khác, tiết kiệm thời gian và tiền bạc. Đây là một bước ngoặt, đặc biệt cho việc huấn luyện những gã khổng lồ như Behemoth, sử dụng 32K GPU và xử lý hơn 30 nghìn tỷ token.

Hiệu suất và So sánh

Vậy, các mô hình này hoạt động thế nào? Zuckerberg đã rõ ràng về tầm nhìn của mình cho AI mã nguồn mở dẫn đầu, và Llama 4 là một bước tiến lớn theo hướng đó. Mặc dù chúng có thể không lập kỷ lục hiệu suất mới trên mọi mặt, nhưng chắc chắn chúng nằm trong top đầu của lớp. Chẳng hạn, Llama 4 Behemoth vượt qua một số đối thủ nặng ký trên một số chuẩn mực, mặc dù vẫn đang đuổi theo DeepSeek R1 và dòng o1 của OpenAI ở một số điểm khác.

Llama 4 Behemoth

• Vượt qua GPT-4.5, Gemini 2.0 Pro và Claude Sonnet 3.7 trên MATH-500 (95.0), GPQA Diamond (73.7) và MMLU Pro (82.2)

Llama 4 Maverick

• Vượt qua GPT-4o và Gemini 2.0 Flash trên hầu hết các chuẩn mực suy luận đa phương thức như ChartQA, DocVQA, MathVista và MMMU
• Cạnh tranh với DeepSeek v3.1 trong khi sử dụng ít hơn một nửa số tham số hoạt động
• Điểm chuẩn: ChartQA (90.0), DocVQA (94.4), MMLU Pro (80.5)

Llama 4 Scout

• So kè hoặc vượt qua các mô hình như Mistral 3.1, Gemini 2.0 Flash-Lite và Gemma 3 trên DocVQA (94.4), MMLU Pro (74.3) và MathVista (70.7)
• Độ dài ngữ cảnh 10 triệu token vô song—lý tưởng cho tài liệu dài và mã nguồn

So sánh với DeepSeek R1

Khi nói đến những đối thủ lớn, Llama 4 Behemoth giữ vững vị trí nhưng chưa thể soán ngôi DeepSeek R1 hay dòng o1 của OpenAI. Nó hơi tụt lại trên MATH-500 và MMLU nhưng dẫn đầu trên GPQA Diamond. Dù vậy, rõ ràng Llama 4 là một đối thủ mạnh trong không gian suy luận.

An toàn và Trung lập Chính trị

Meta cũng không quên vấn đề an toàn. Họ đã giới thiệu các công cụ như Llama Guard, Prompt Guard và CyberSecEval để giữ mọi thứ trong tầm kiểm soát. Và họ nhấn mạnh việc giảm thiểu thiên vị chính trị, hướng tới một cách tiếp cận cân bằng hơn, đặc biệt sau khi Zuckerberg bày tỏ sự ủng hộ cho chính trị Cộng hòa sau cuộc bầu cử năm 2024.

Tương Lai với Llama 4

Với Llama 4, Meta đang đẩy nhanh giới hạn của hiệu quả, tính mở và hiệu suất trong AI. Dù bạn muốn xây dựng trợ lý AI cấp doanh nghiệp hay đi sâu vào nghiên cứu AI, Llama 4 cung cấp các tùy chọn mạnh mẽ, linh hoạt, ưu tiên suy luận. Rõ ràng Meta cam kết làm cho AI dễ tiếp cận và có tác động hơn với mọi người.