Компания Deep Cogito представила первые модели открытого исходного кода и уже лидирует в рейтингах

Deep Cogito представляет революционные модели ИИ

В прорывном шаге Deep Cogito, передовой стартап в области исследований ИИ из Сан-Франциско, официально представил свою первую линейку открытых больших языковых моделей (LLMs), названных Cogito v1. Эти модели, доработанные на основе Llama 3.2 от Meta, обладают гибридными возможностями рассуждения, позволяющими быстро реагировать или заниматься интроспективным мышлением — функция, напоминающая серию “o” от OpenAI и DeepSeek R1.

Deep Cogito стремится вывести ИИ за рамки традиционных ограничений человеческого контроля, способствуя итеративному самоулучшению моделей. Их конечная цель? Разработка суперразума — ИИ, превосходящего человеческие способности во всех областях. При этом компания заверяет, что все модели останутся с открытым исходным кодом.

Дришан Арора, генеральный директор и сооснователь Deep Cogito, ранее работал старшим инженером-программистом в Google, руководя разработкой LLMs для продукта генеративного поиска Google. Он уверенно заявил на X, что эти модели входят в число самых мощных открытых моделей своего масштаба, превосходя конкурентов, таких как LLaMA, DeepSeek и Qwen.

Линейка моделей

Начальное предложение включает пять базовых размеров — 3, 8, 14, 32 и 70 миллиардов параметров — и уже доступно на платформах, таких как Hugging Face, Ollama, а также через API от Fireworks и Together AI. Эти модели работают под лицензией Llama, разрешающей коммерческое использование до 700 миллионов пользователей в месяц без необходимости платной лицензии от Meta.

Deep Cogito планирует выпустить еще более крупные модели, возможно, до 671 миллиарда параметров, в ближайшем будущем.

Подход к обучению: итеративная дистилляция и усиление (IDA)

Арора представил IDA, новый метод, отличный от традиционного обучения с подкреплением на основе человеческой обратной связи (RLHF) или дистилляции от модели-учителя. IDA фокусируется на выделении дополнительных вычислительных ресурсов для создания превосходных решений, затем встраивая улучшенное рассуждение в саму модель — непрерывный цикл обратной связи, направленный на повышение возможностей. Этот подход напоминает стратегию самопроигрывания Google AlphaGo, адаптированную для обработки естественного языка.

Тесты и оценки

Deep Cogito представил всесторонние результаты оценки, сравнивая модели Cogito с открытыми аналогами в областях общего знания, математического рассуждения и многоязычных задач. Основные выводы:

• Cogito 3B (стандарт): Превосходит LLaMA 3.2 3B на MMLU на 6,7 процентных пункта (65,4% против 58,7%) и на Hellaswag на 18,8 пункта (81,1% против 62,3%).
• Cogito 3B (режим рассуждения): Набирает 72,6% на MMLU и 84,2% на ARC.
• Cogito 8B (стандарт): Достигает 80,5% на MMLU, опережая LLaMA 3.1 8B на 12,8 пункта.
• Cogito 8B (режим рассуждения): Набирает 83,1% на MMLU и 92,0% на ARC.
• Cogito 70B (стандарт): Опережает LLaMA 3.3 70B на MMLU на 6,4 пункта (91,7% против 85,3%) и превосходит LLaMA 4 Scout 109B по совокупным тестам (54,5% против 53,3%).

Хотя модели Cogito превосходят в режиме рассуждения, существуют определенные компромиссы, особенно в математических задачах.

Нативный вызов инструментов

Deep Cogito также оценил производительность моделей в нативном вызове инструментов, что критично для систем с интеграцией агентов и API.

• Cogito 3B: Поддерживает четыре задачи вызова инструментов и превосходит в простых и множественных вызовах.
• Cogito 8B: Демонстрирует высокую производительность по всем типам вызовов инструментов, значительно опережая LLaMA 3.1 8B.

Планы на будущее

В перспективе Deep Cogito планирует представить более крупные модели, включая варианты смеси экспертов на 109B, 400B и 671B параметров, а также продолжать обновлять существующие контрольные точки. Компания рассматривает IDA как устойчивый путь к масштабируемому самоулучшению, снижая зависимость от человеческих или статичных моделей-учителей.

Арора подчеркнул, что реальная полезность и адаптивность — главные критерии успеха, подчеркивая, что это лишь начало многообещающего пути. Deep Cogito сотрудничает с известными организациями, такими как Hugging Face, RunPod, Fireworks AI, Together AI и Ollama, обеспечивая открытость и свободный доступ ко всем моделям.