Meta представляет две модели Llama 4 AI

Эй, ты слышал? Meta только что выпустила Llama 4, их новейший набор моделей AI, которые теперь оживляют помощника Meta AI на веб-сайте, в WhatsApp, Messenger и Instagram. Они запустили две новые модели, которые можно взять у Meta или Hugging Face: Llama 4 Scout и Llama 4 Maverick. Scout — это компактная модель, которая помещается в один GPU Nvidia H100, а Maverick — это, скорее, тяжёлая артиллерия, вроде GPT-4o и Gemini 2.0 Flash. И знаешь что? Они всё ещё работают над Llama 4 Behemoth, про который Марк Цукерберг говорит, что это будет «самая высокопроизводительная базовая модель в мире».

Итак, о Llama 4 Scout — у неё огромное контекстное окно на 10 миллионов токенов, что как её рабочая память, и она обходит Google's Gemma 3 и Gemini 2.0 Flash-Lite, а также открытую модель Mistral 3.1 во всевозможных тестах производительности. И самое крутое? Она всё ещё помещается в один GPU Nvidia H100. Maverick тоже не отстаёт, держится наравне с GPT-4o от OpenAI и Gemini 2.0 Flash от Google, и даёт фору DeepSeek-V3 в задачах по программированию и рассуждению с гораздо меньшим количеством параметров.

Изображение: Meta

Теперь о Llama 4 Behemoth — это настоящий монстр с 288 миллиардами активных параметров и целыми 2 триллионами в общей сложности. Она ещё не вышла, но Meta уже хвастается, что она превзойдёт GPT-4.5 и Claude Sonnet 3.7 в тестах по STEM.

Для Llama 4 Meta переключилась на архитектуру «смеси экспертов» (MoE), которая довольно умна, потому что использует только те части модели, которые нужны для каждой задачи, экономя ресурсы. Они собираются рассказать больше о своих будущих планах по AI на LlamaCon 29 апреля, так что следи за этим.

Как и раньше, Meta называет Llama 4 «открытым исходным кодом», но на это были возражения. Лицензия Llama 4 содержит некоторые правила, например, если вы крупная коммерческая компания с более чем 700 миллионами активных пользователей в месяц, вам нужно запросить разрешение у Meta перед использованием. Open Source Initiative в 2023 году была не в восторге от этого, заявив, что это не совсем соответствует понятию «открытый исходный код».