Meta представляет Llama 4 с длинным контекстом и моделями Maverick, 2T Parameter Bhemoth скоро появится!

Еще в январе 2025 года мир ИИ был потрясен, когда относительно неизвестный китайский стартап ИИ, Deepseek, бросил рукавиц своей новаторской моделью языковой мышления с открытым исходным кодом, Deepseek R1. Эта модель не только превзошла такие, как Meta, но и сделала это за долю от стоимости - оборотня, чтобы составлять всего несколько миллионов долларов. Такая бюджетная мета может потратить только на пару лидеров команды ИИ! Эта новость отправила Meta в немного безумия, особенно после того, как их последняя модель Llama, версия 3.3, выпущенная всего месяц назад, уже немного устарела.

Перенесемся на сегодня, и основатель и генеральный директор Meta Марк Цукерберг отправился в Instagram, чтобы объявить о запуске новой серии Llama 4. Эта серия включает в себя 400 миллиардов параметров Llama 4 Maverick и параметр 109 миллиардов Llama 4, оба доступны для разработчиков, чтобы загрузить и начать возиться сразу на llama.com и обнимающееся лицо. Также есть краткий обзор колоссальной модели параметров 2 триллионов, Llama 4 Behemoth, все еще на тренировке, без даты выпуска.

Мультимодальные и длительные возможности

Одной из выдающихся особенностей этих новых моделей является их мультимодальная природа. Они не только о тексте; Они также могут справиться с видео и образами. И они поставляются с невероятно длинными контекстными окнами - 1 миллионами жетонов для Маверика и колоссальные 10 миллионов для скаута. Чтобы представить это в перспективе, это все равно что обрабатывать до 1500 и 15 000 страниц текста за один раз! Представьте себе возможности для таких областей, как медицина, наука или литература, где вам нужно обрабатывать и генерировать огромные объемы информации.

Смесь экспертов архитектуры

Все три модели Llama 4 используют архитектуру «смеси-экспертов (MOE)», методику, которая делает волны, популяризированную такими компаниями, как Openai и Mistral. Этот подход сочетает в себе несколько небольших специализированных моделей в одну более крупную, более эффективную модель. Каждая модель LlaMa 4 представляет собой смесь из 128 различных экспертов, что означает только необходимый эксперт и общий направление каждого токена, что делает модели более экономически эффективными и быстрее. Meta может похвастаться тем, что Llama 4 Maverick можно запустить на одном хосте Nvidia H100 DGX, что делает развертывание легким.

Экономичный и доступный

Meta - это все, чтобы сделать эти модели доступными. И Скаут, и Маверик доступны для самостоятельного управления, и они даже поделились некоторыми заманчивыми оценками затрат. Например, стоимость вывода для Llama 4 Maverick составляет от 0,19 до 0,49 долл. США на токены, что является кражей по сравнению с другими проприетарными моделями, такими как GPT-4O. И если вы заинтересованы в использовании этих моделей через облачный провайдер, GROQ уже выступил с конкурентными ценами.

Усовершенствованные рассуждения и метания

Эти модели построены с учетом рассуждений, кодирования и решения проблем. Meta использовала некоторые умные методы во время обучения, чтобы увеличить эти возможности, такие как удаление простых подсказок и использование непрерывного обучения подкреплению со все более сложными подсказками. Они также представили Metap, новую технику, которая позволяет устанавливать гиперпараметры на одной модели и применять их к другим, экономя время и деньги. Это изменение игры, особенно для обучающих монстров, таких как Бегемот, в котором используются 32K графических процессоров и процессы более 30 триллионов жетонов.

Производительность и сравнения

Итак, как эти модели складываются? Цукерберг ясно получил свое видение ИИ с открытым исходным кодом, и Llama 4-большой шаг в этом направлении. Хотя они могут не устанавливать новые рекорды по производительности по всем направлениям, они, безусловно, находятся на вершине своего класса. Например, «Бегемот» Llama 4 опередил некоторых тяжелых нападающих по определенным критериям, хотя он все еще играет в догоняние с серией Deepseek R1 и Openai's O1 в других.

Лама 4 Бегемот

• Overperforms GPT-4.5, Gemini 2.0 Pro и Claude Sonnet 3.7 на Math-500 (95,0), GPQA Diamond (73,7) и MMLU Pro (82,2)

Лама 4 Маверик

• Beats GPT-4O и Gemini 2.0 Flash на большинстве многомодальных показателей рассуждений, таких как Chartqa, Docvqa, Mathvista и MMMU
• Конкурентоспособно с DeepSeek v3.1, используя менее половины активных параметров
• Оценки баллов: Chartqa (90.0), Docvqa (94.4), Mmlu Pro (80,5)

Llama 4 Scout

• Матчи или опережать модели, такие как Mistral 3.1, Gemini 2.0 Flash-Lite и Gemma 3 на DOCVQA (94,4), MMLU Pro (74,3) и Mathvista (70,7)
• Непревзойденная длина контекста 10 м - доступна для длинных документов и кодовых баз

По сравнению с DeepSeek R1

Когда дело доходит до высшей лиги, Llama 4 Behemoth держит свои собственные, но не совсем сверкает Deepseek R1 или Openai's O1 Series. Это немного отстает от Math-500 и MMLU, но впереди на Diamond GPQA. Тем не менее, ясно, что Llama 4 является сильным соперником в пространстве рассуждений.

Безопасность и политическая нейтралитет

Мета тоже не забыла о безопасности. Они представили такие инструменты, как Llama Guard, Grapper Guard и Cyberseval, чтобы держать вещи вверх и вверх. И они имеют отношение к сокращению политических предвзятости, стремящихся к более сбалансированному подходу, особенно после того, как Закерберг отмечала поддержку республиканской политики после 2024 года.

Будущее с ламой 4

С Llama 4 Meta раздвигает границы эффективности, открытости и производительности в ИИ. Независимо от того, хотите ли вы построить помощников ИИ на уровне предприятия или погрузиться в исследования искусственного интеллекта, Llama 4 предлагает мощные, гибкие варианты, которые определяют приоритеты рассуждения. Понятно, что Meta стремится сделать ИИ более доступным и эффективным для всех.