LLMS Deep Cogito превосходит модели аналогичного размера с использованием IDA

Deep Cogito, компания из Сан-Франциско, делает волны в сообществе ИИ с последним выпуском моделей открытых крупных языков (LLMS). Эти модели, которые бывают разных размеров от 3 миллиардов до 70 миллиардов параметров, являются не просто еще одним набором инструментов ИИ; Они смелый шаг к тому, что компания называет «общей супертеллигенностью». Глубокий Cogito утверждает, что каждая из их моделей превосходит ведущие открытые модели аналогичных размеров, в том числе модели Llama, Deepseek и Qwen, по большинству стандартных критериев. Это довольно утверждение, но что еще более впечатляет, так это то, что их модель 70B, как сообщается, затухала недавно выпущенную модель Llama 4 109b Experts (MOE).

Итерация дистилляция и усиление (IDA)

В основе прорыва Deep Cogito лежит новый подход к обучению, который они называют итерационной дистилляцией и усилением (IDA). Этот метод описывается как «масштабируемая и эффективная стратегия выравнивания для общей суперинтеллигенности с использованием итеративного самосовершенствования». Он предназначен для того, чтобы продлить ограничения традиционного обучения LLM, где интеллект модели часто попадает в потолок, определяемый более крупными моделями «надзирателя» или человеческими кураторами.

Процесс IDA вращается вокруг двух ключевых шагов, которые повторяются снова и снова:

• Усиление: этот шаг использует больше вычислительной мощности, чтобы помочь модели придумать лучшие решения или возможности, так же, как усовершенствованные методы рассуждения.
• Дистилляция: Здесь модель интернатизирует эти улучшенные возможности, уточняя его параметры.

Глубокий Cogito утверждает, что это создает «петлю положительной обратной связи», позволяя интеллекту модели расти более непосредственно с вычислительными ресурсами и эффективностью самого процесса IDA, а не ограниченным интеллектом надзирателя.

Компания указывает на исторические успехи, такие как Альфаго, подчеркивая, что «передовые рассуждения и итеративное самосовершенствование» были решающими. Ида, утверждают они, привносит эти элементы в обучение LLM. Они также рекламируют эффективность IDA, отметив, что их команде, хотя и небольшая, удалось разработать эти модели всего за 75 дней. По сравнению с другими методами, такими как обучение подкреплению от обратной связи человека (RLHF) или стандартной дистилляции из более крупных моделей, IDA, как говорят, предлагает лучшую масштабируемость.

В качестве доказательства, Deep Cogito подчеркивает, как их модель 70b превосходит как Llama 3.3 70b (дистиллированная из модели 405b), так и Llama 4 Scout 109b (дистиллированная по модели параметров 2T).

Возможности и производительность моделей Deep Cogito

Новые модели Cogito, которые основаны на контрольно -пропускных пунктах Llama и Qwen, адаптированы для кодирования, вызова функций и агентских приложений. Выдающейся функцией является их двойная функциональность: «Каждая модель может ответить напрямую (стандартный LLM) или саморефлексирует перед ответом (например, модели рассуждений)». Это отражает возможности, которые можно увидеть в таких моделях, как Claude 3.5. Тем не менее, глубокий Cogito упоминает, что они не сосредоточены на очень длинных цепях рассуждений, приоритетных более быстрыми ответами и эффективностью дистилляции более коротких цепей.

Компания имеет обширные результаты, сравнивая свои модели Cogito с эквивалентными размерами современные открытые модели как в режимах прямых, так и в режимах рассуждений. В целом диапазон тестов, таких как MMLU, MMLU-PRO, ARC, GSM8K и MATH, и в разных размерах модели (3B, 8B, 14B, 32B, 70B), модели Cogito обычно демонстрируют значительные улучшения производительности. Например, модель Cogito 70B оценивает 91,73% по MMLU в стандартном режиме, улучшение A +6,40% по сравнению с Llama 3.3 70B и 91,00% в режиме мышления, на +4,40% над DeepSeek R1 Distill 70b. Оценки LiveBench также отражают эти выгоды.

Вот тесты моделей 14B для сравнения среднего размера:

В то время как Deep Cogito признает, что тесты не полностью отражают реальную утилиту, они по-прежнему уверены в практических показателях своих моделей. Этот релиз считается предварительным просмотром: компания заявляет, что они «все еще находятся на ранних стадиях этой кривой масштабирования». Они планируют выпустить улучшенные контрольно -пропускные пункты для текущих размеров и представить более крупные модели MOE (109B, 400B, 671B) в ближайшие недели и месяцы. Все будущие модели также будут открытыми источниками.