Компания Deep Cogito представила первые модели открытого исходного кода и уже лидирует в рейтингах

Deep Cogito выходит с революционными моделями ИИ

В прорывном шаге компания Deep Cogito, передовая стартап по исследованию ИИ, расположенная в Сан-Франциско, официально представила свою первую линейку открытых больших языковых моделей (LLMs), названную Cogito v1. Эти модели, доработанные на основе Llama 3.2 Meta, обладают гибридной способностью логического мышления, позволяющей им быстро реагировать или вступать в самоанализ — это качество напоминает серию "о" от OpenAI и DeepSeek R1.

Deep Cogito видит перспективу развития ИИ за рамками традиционных ограничений человеческого контроля путем формирования итеративного самосовершенствования в своих моделях. Их终极 цель — создание суперинтеллекта — ИИ, превосходящего человеческие способности во всех областях. Однако компания гарантирует, что все модели останутся открытыми.

Дришан Ароора, генеральный директор и соучредитель Deep Cogito, ранее работал старшим инженером программного обеспечения в Google, руководя разработкой LLM для генеративного поиска Google. Он уверенно заявил на X, что эти модели являются одними из самых мощных открытых моделей своего масштаба, превосходя конкурентов, таких как LLaMA, DeepSeek и Qwen.

Линейка моделей

Первоначальное предложение включает пять базовых размеров — 3 миллиарда, 8 миллиардов, 14 миллиардов, 32 миллиарда и 70 миллиардов параметров — и уже доступно на платформах, таких как Hugging Face, Ollama, и через API Fireworks и Together AI. Эти модели работают под лицензией Llama, разрешая коммерческое использование до 700 миллионов ежемесячных пользователей, прежде чем потребуется платная лицензия от Meta.

Deep Cogito намерена запустить еще более крупные модели, возможно, достигающие 671 миллиарда параметров, в ближайшем будущем.

Подход к обучению: Итерированная дистилляция и амплификация (IDA)

Ароора представил IDA, новую методологию, отличающуюся от традиционного обучения с участием человека (RLHF) или дистилляции с учителем-моделью. IDA сосредотачивается на выделении дополнительных вычислительных ресурсов для создания превосходных решений, которые затем внедряются в модель самой себя — это непрерывная обратная связь, направленная на повышение возможностей. Этот подход напоминает стратегию самоподготовки AlphaGo Google, адаптированную для обработки естественного языка.

Бенчмарки и оценки

Deep Cogito предоставила всесторонние результаты сравнительной оценки моделей Cogito с открытыми аналогами в таких областях, как общий знания, математическое мышление и многоязычие. Основные выводы включают:

• Cogito 3B (Стандарт): Превосходит LLaMA 3.2 3B на MMLU на 6.7 процентных пунктов (65.4% против 58.7%) и на Hellaswag на 18.8 пунктов (81.1% против 62.3%).
• Cogito 3B (Режим логического мышления): Достигает 72.6% на MMLU и 84.2% на ARC.
• Cogito 8B (Стандарт): Достигает 80.5% на MMLU, опережая LLaMA 3.1 8B на 12.8 пунктов.
• Cogito 8B (Режим логического мышления): Достигает 83.1% на MMLU и 92.0% на ARC.
• Cogito 70B (Стандарт): Преобладает над LLaMA 3.3 70B на MMLU на 6.4 пункта (91.7% против 85.3%) и превосходит LLaMA 4 Scout 109B по общей оценке (54.5% против 53.3%).

Хотя модели Cogito показывают превосходство в режиме логического мышления, существуют некоторые компромиссы, особенно в математических задачах.

Естественный вызов инструментов

Deep Cogito также оценила производительность своих моделей при вызове инструментов, важном аспекте для агентских и API-интегрированных систем.

• Cogito 3B: Поддерживает четыре задачи вызова инструментов и демонстрирует высокую эффективность в простых и множественных вызовах инструментов.
• Cogito 8B: Показывает сильную производительность во всех типах вызовов инструментов, значительно превосходя LLaMA 3.1 8B.

Будущие планы

В перспективе Deep Cogito планирует представить более крупные модели, включая варианты смеси экспертов с параметрами 109B, 400B и 671B, наряду с постоянными обновлениями существующих точек проверки. Компания рассматривает IDA как устойчивый путь к масштабируемому самосовершенствованию, снижая зависимость от человеческих или статических учителей-моделей.

Ароора подчеркнул, что реальная полезность и адаптируемость являются окончательными мерами успеха, подчеркивая, что это только начало перспективного пути. Deep Cogito сотрудничает с известными организациями, такими как Hugging Face, RunPod, Fireworks AI, Together AI и Ollama, гарантируя, что все модели остаются открытыми и свободно доступными.