Meta tiết lộ Llama 4 với các mô hình Scout và Maverick Bối cảnh dài, sắp ra mắt tham số 2t sắp ra mắt!

Trở lại vào tháng 1 năm 2025, thế giới AI đã bị rung chuyển khi một công ty khởi nghiệp AI tương đối xa lạ của Trung Quốc, Deepseek, ném xuống chiếc găng tay với mô hình lý luận ngôn ngữ nguồn mở đột phá của họ, Deepseek R1. Mô hình này không chỉ vượt trội hơn so với Meta mà còn làm như vậy với một phần chi phí của chi phí, đã tăng ít như vài triệu đô la. Đó là loại meta ngân sách có thể chi cho chỉ một vài lãnh đạo nhóm AI của nó! Tin tức này đã gửi Meta vào một chút điên cuồng, đặc biệt là khi mẫu Llama mới nhất của họ, phiên bản 3.3, được phát hành chỉ một tháng trước đó, đã có vẻ hơi ngày.

Chuyển nhanh đến ngày hôm nay, và người sáng lập và CEO của Meta, Mark Zuckerberg, đã đưa lên Instagram để công bố ra mắt loạt phim Llama 4 mới. Sê-ri này bao gồm tham số 400 tỷ llama 4 maverick và 109 tỷ tham số llama 4 Scout, cả hai đều có sẵn để các nhà phát triển tải xuống và bắt đầu mày mò ngay lập tức trên llama.com và khuôn mặt ôm. Ngoài ra còn có một cái nhìn lén lút về một mô hình tham số 2 nghìn tỷ khổng lồ, llama 4 Behemoth, vẫn đang được đào tạo, không có ngày phát hành trong tầm nhìn.

Khả năng đa phương thức và lâu dài

Một trong những tính năng nổi bật của các mô hình mới này là bản chất đa phương thức của chúng. Họ không chỉ là về văn bản; Họ cũng có thể xử lý video và hình ảnh. Và chúng đi kèm với bối cảnh dài vô cùng Windows Windows, 1 triệu mã thông báo cho Maverick và 10 triệu người cho Scout. Để đặt điều đó trong viễn cảnh, điều đó giống như xử lý tới 1.500 và 15.000 trang văn bản trong một lần! Hãy tưởng tượng các khả năng cho các lĩnh vực như y học, khoa học hoặc văn học nơi bạn cần xử lý và tạo ra một lượng lớn thông tin.

Kiến trúc hỗn hợp của các chuyên gia

Tất cả ba mô hình Llama 4 sử dụng kiến ​​trúc "hỗn hợp (MOE)", một kỹ thuật đã tạo nên sóng, được phổ biến bởi các công ty như Openai và Mistral. Cách tiếp cận này kết hợp nhiều mô hình nhỏ hơn, chuyên dụng thành một mô hình lớn hơn, hiệu quả hơn. Mỗi mô hình Llama 4 là sự kết hợp của 128 chuyên gia khác nhau, có nghĩa là chỉ có chuyên gia cần thiết và một xử lý được chia sẻ mỗi mã thông báo, làm cho các mô hình hiệu quả hơn và nhanh hơn để chạy. Meta tự hào rằng Llama 4 Maverick có thể được chạy trên một máy chủ NVIDIA H100 DGX duy nhất, khiến việc triển khai trở nên dễ dàng.

Hiệu quả chi phí và có thể truy cập

Meta là tất cả về việc làm cho các mô hình này có thể truy cập được. Cả Scout và Maverick đều có sẵn để tự lưu trữ và họ thậm chí đã chia sẻ một số ước tính chi phí hấp dẫn. Chẳng hạn, chi phí suy luận cho llama 4 maverick là từ 0,19 đến 0,49 đô la một triệu mã thông báo, đây là một vụ đánh cắp so với các mô hình độc quyền khác như GPT-4O. Và nếu bạn quan tâm đến việc sử dụng các mô hình này thông qua nhà cung cấp đám mây, GROQ đã tăng giá với giá cạnh tranh.

Lý luận nâng cao và Metap

Những mô hình này được xây dựng với lý luận, mã hóa và giải quyết vấn đề trong tâm trí. Meta đã sử dụng một số kỹ thuật thông minh trong quá trình đào tạo để tăng cường các khả năng này, như loại bỏ các lời nhắc dễ dàng và sử dụng học tập củng cố liên tục với những lời nhắc ngày càng khó khăn. Họ cũng đã giới thiệu MetAP, một kỹ thuật mới cho phép thiết lập siêu âm trên một mô hình và áp dụng chúng cho người khác, tiết kiệm thời gian và tiền bạc. Đó là một người thay đổi trò chơi, đặc biệt là để đào tạo những con quái vật như Behemoth, sử dụng GPU 32K và các quy trình trên 30 nghìn tỷ mã thông báo.

Hiệu suất và so sánh

Vì vậy, làm thế nào để các mô hình xếp chồng lên nhau? Zuckerberg đã rõ ràng về tầm nhìn của anh ấy đối với AI nguồn mở dẫn đầu, và Llama 4 là một bước tiến lớn theo hướng đó. Mặc dù họ có thể không thiết lập các hồ sơ hiệu suất mới trên bảng, nhưng chắc chắn họ ở gần đầu lớp của họ. Chẳng hạn, Llama 4 Behemoth vượt trội so với một số người đánh thuê hạng nặng trên một số điểm chuẩn nhất định, mặc dù nó vẫn đang chơi trò bắt kịp với loạt O1 của DeepSeek R1 và Openai trong những điểm khác.

Llama 4 Behemoth

• Vượt trội hơn GPT-4.5, Gemini 2.0 Pro và Claude Sonnet 3.7 trên Math-500 (95.0), GPQA Diamond (73.7) và MMLU Pro (82.2)

Llama 4 Maverick

• Beats GPT-4O và Gemini 2.0 Flash trên hầu hết các điểm chuẩn lý luận đa phương thức như Chartqa, Docvqa, Mathvista và MMMU
• Cạnh tranh với DeepSeek v3.1 trong khi sử dụng ít hơn một nửa các tham số hoạt động
• Điểm chuẩn: Chartqa (90.0), DocVQA (94.4), MMLU Pro (80.5)

Llama 4 Scout

• Các mô hình phù hợp hoặc vượt trội so với các mô hình như Mistral 3.1, Gemini 2.0 Flash-Lite và Gemma 3 trên DocVQA (94.4), MMLU Pro (74.3) và Mathvista (70.7)
• Chiều dài bối cảnh mã thông báo 10m không thể so sánh được đối với các tài liệu và cơ sở mã dài

So sánh với DeepSeek R1

Khi nói đến các giải đấu lớn, Llama 4 Behemoth giữ riêng nhưng không hề truất ngôi Deepseek R1 hoặc Openai's Series. Nó hơi đằng sau trên Math-500 và MMLU nhưng phía trước trên GPQA Diamond. Tuy nhiên, rõ ràng Llama 4 là một ứng cử viên mạnh mẽ trong không gian lý luận.

Tính trung lập an toàn và chính trị

Meta cũng không quên về sự an toàn. Họ đã giới thiệu các công cụ như Llama Guard, PROPRED Guard và Cyberseceval để giữ mọi thứ trên mạng. Và họ đang đưa ra quan điểm về việc giảm sự thiên vị chính trị, nhắm đến một cách tiếp cận cân bằng hơn, đặc biệt là sau khi hỗ trợ đáng chú ý của Zuckerberg cho cuộc bầu cử chính trị của đảng Cộng hòa sau năm 2024.

Tương lai với Llama 4

Với Llama 4, Meta đang đẩy ranh giới hiệu quả, cởi mở và hiệu suất trong AI. Cho dù bạn đang tìm cách xây dựng các trợ lý AI cấp doanh nghiệp hay đi sâu vào nghiên cứu của AI, Llama 4 cung cấp các tùy chọn mạnh mẽ, linh hoạt ưu tiên lý luận. Rõ ràng là Meta cam kết làm cho AI dễ tiếp cận và có ảnh hưởng hơn đối với mọi người.