Deep Cogito的LLMS使用IDA优于类似大小的模型
2025年04月18日
JoseAdams
91
总部位于旧金山的公司Deep Cogito通过其最新发布的开放大语模型（LLM）在AI社区中引起了轰动。这些模型的各种尺寸从30亿到700亿个参数不等，不仅是另一套AI工具。它们是迈向公司所谓的“一般超级智能”的大胆一步。 Deep Cogito声称，在大多数标准的基准中，他们的每个模型都优于类似尺寸的领先开放模型，包括来自Llama，DeepSeek和Qwen的模型。这是一个很大的说法，但更令人印象深刻的是，据报道，他们的70B型号超过了最近发布的Llama 4 109b混合物（MOE）型号。
迭代蒸馏和放大（IDA）
Deep Cogito突破的核心是他们称为迭代蒸馏和放大（IDA）的一种新的训练方法。该方法被描述为“使用迭代自我改善的一般超级智能的可扩展有效的一致性策略”。它旨在超越传统LLM培训的局限性，在该训练中，该模型的智能经常击中由更大的“监督”模型或人类策展人定义的天花板。
IDA过程围绕着两个重复的两个关键步骤旋转：
- 放大：此步骤使用更多的计算能力来帮助模型提供更好的解决方案或功能，就像先进的推理技术一样。
- 蒸馏：在这里，该模型将这些改进的功能内化，从而完善其参数。
Deep Cogito认为，这会创建一个“积极的反馈循环”，从而使模型的智能可以通过计算资源和IDA过程本身的效率更直接地增长，而不是受监督者的智能限制。
该公司指出了像阿尔法戈这样的历史成功，强调“先进的推理和迭代自我完善”至关重要。他们声称，艾达将这些要素带入了LLM培训。他们还宣传了IDA的效率，并指出他们的团队虽然很小，但在大约75天内设法开发了这些模型。与其他方法相比，例如从人类反馈中学习（RLHF）或较大模型的标准蒸馏，据说IDA可提供更好的可扩展性。
作为证明，深Cogito强调了他们的70b模型如何优于Llama 3.3 70b（从405B模型蒸馏）和Llama 4 Scout 109b（从2T参数模型中蒸馏）。
Deep Cogito模型的功能和性能
基于Llama和Qwen检查点的新的Cogito模型是针对编码，功能调用和代理应用程序量身定制的。出色的功能是它们的双重功能：“每个模型都可以直接回答（标准LLM），或者在回答之前自我反射（如推理模型）。”这反映了Claude 3.5之类的模型中看到的功能。但是，Cogito提到他们并没有专注于很长的推理链，优先考虑更快的答案和蒸馏较短的链条的效率。
该公司已分享了广泛的基准结果，将其Cogito模型与直接和推理模式中的尺寸等效的开放模型进行了比较。在MMLU，MMLU-PRO，ARC，GSM8K和MATH等一系列基准测试中，以及不同模型尺寸（3B，8B，14B，32B，70B），Cogito模型通常显示出显着的性能改进。例如，Cogito 70B型号在标准模式下的MMLU上得分为91.73％，比Llama 3.3 70B的 +6.40％提高了6.40％，在思维模式下，COGITO MMLU的提高了91.00％，而DeepSeek R1 Distill 70b的 +4.40％的增长率为 +4.40％。 LiveBench分数也反映了这些收益。
以下是中型比较的14B模型的基准：
虽然Cogito Deep Cogito承认基准并不能完全捕获现实世界的实用程序，但他们仍然对模型的实际性能充满信心。该版本被认为是一个预览，该公司表示他们“仍处于这种缩放曲线的早期阶段”。他们计划在未来几周和几个月内释放当前尺寸的改进检查点，并引入更大的MOE型号（109b，400b，671b）。所有未来的模型也将是开源的。
相关文章
Microsoft 365 Copilot представляет редизайн с расширенным поиском, изображением и ноутбуком
Microsoft готовится к новому приложению Microsoft 365 Copilot, предназначенное для удовлетворения потребностей бизнеса, при этом более тесно интегрируясь с удобными для потребителя функциями обычного Copilot. Обновленная версия может похвастаться поиском с AI, новой функцией «Создать», которая использует OPE
Дебаты по сравнению с ИИ достигли покемонов
Даже любимый мир покемонов не застрахован от драмы, окружающей тесты ИИ. Недавний вирусный пост на X разжигал настоящий гул, утверждая, что последняя модель Gemini Google опередила ведущую модель Claude Antropic в классической трилогии видеоигр Pokémon. Согласно сообщению, Близнецы
10 лучших инструментов маркетинга искусственного интеллекта на апрель 2025 г.
Искусственный интеллект (ИИ) встряхивает отрасли влево и вправо, и маркетинг не является исключением. От небольших стартапов до крупных корпораций, предприятия все чаще обращаются к инструментам маркетинга искусственного интеллекта, чтобы повысить видимость своего бренда и стимулировать их рост. Включение этих инструментов в ваш бизнес
评论 (20)
0/200
![EricKing]()
EricKing
2025年04月19日 22:12:37
Deep Cogito's LLMs are impressive, but the app could use a better UI. It's a bit clunky to navigate through the different model sizes. Still, the performance is top-notch, especially with the IDA tech. Definitely worth a look if you're into AI and want to see what's possible with large language models! 🤖💡
0
![EricRoberts]()
EricRoberts
2025年04月20日 04:40:17
ディープコギトのLLMは印象的ですが、アプリのUIがもう少し改善されると良いですね。モデルサイズをナビゲートするのが少しぎこちないです。それでも、パフォーマンスは最高で、特にIDAテクノロジーとの組み合わせが素晴らしいです。AIに興味があるなら、大規模言語モデルの可能性を見る価値がありますよ！🤖💡
0
![RichardThomas]()
RichardThomas
2025年04月19日 03:58:42
Os LLMs da Deep Cogito são impressionantes, mas o app poderia ter uma UI melhor. É um pouco desajeitado navegar pelos diferentes tamanhos de modelo. Ainda assim, o desempenho é de primeira linha, especialmente com a tecnologia IDA. Vale a pena dar uma olhada se você gosta de IA e quer ver o que é possível com modelos de linguagem grandes! 🤖💡
0
![WillMitchell]()
WillMitchell
2025年04月18日 20:01:50
Los LLMs de Deep Cogito son impresionantes, pero la app podría tener una mejor UI. Es un poco torpe navegar entre los diferentes tamaños de modelo. Aún así, el rendimiento es de primera, especialmente con la tecnología IDA. Vale la pena echar un vistazo si te interesa la IA y quieres ver lo que es posible con modelos de lenguaje grandes! 🤖💡
0
![GregoryCarter]()
GregoryCarter
2025年04月21日 03:16:16
LLM от Deep Cogito впечатляют, но приложение могло бы иметь лучший UI. Навигация по разным размерам моделей немного неуклюжая. Тем не менее, производительность на высшем уровне, особенно с технологией IDA. Обязательно стоит посмотреть, если вы интересуетесь ИИ и хотите увидеть, что возможно с большими языковыми моделями! 🤖💡
0
![JackHernández]()
JackHernández
2025年04月19日 00:12:00
Deep Cogito's LLMs are a game-changer! The performance boost over similar-sized models is impressive. I've been using the 70 billion parameter model for my research, and it's like having a super-smart assistant. Only downside? It's a bit resource-heavy. Still, totally worth it! 🚀
0
2025年04月18日
JoseAdams
91
总部位于旧金山的公司Deep Cogito通过其最新发布的开放大语模型（LLM）在AI社区中引起了轰动。这些模型的各种尺寸从30亿到700亿个参数不等，不仅是另一套AI工具。它们是迈向公司所谓的“一般超级智能”的大胆一步。 Deep Cogito声称，在大多数标准的基准中，他们的每个模型都优于类似尺寸的领先开放模型，包括来自Llama，DeepSeek和Qwen的模型。这是一个很大的说法，但更令人印象深刻的是，据报道，他们的70B型号超过了最近发布的Llama 4 109b混合物（MOE）型号。
迭代蒸馏和放大（IDA）
Deep Cogito突破的核心是他们称为迭代蒸馏和放大（IDA）的一种新的训练方法。该方法被描述为“使用迭代自我改善的一般超级智能的可扩展有效的一致性策略”。它旨在超越传统LLM培训的局限性，在该训练中，该模型的智能经常击中由更大的“监督”模型或人类策展人定义的天花板。
IDA过程围绕着两个重复的两个关键步骤旋转：
- 放大：此步骤使用更多的计算能力来帮助模型提供更好的解决方案或功能，就像先进的推理技术一样。
- 蒸馏：在这里，该模型将这些改进的功能内化，从而完善其参数。
Deep Cogito认为，这会创建一个“积极的反馈循环”，从而使模型的智能可以通过计算资源和IDA过程本身的效率更直接地增长，而不是受监督者的智能限制。
该公司指出了像阿尔法戈这样的历史成功，强调“先进的推理和迭代自我完善”至关重要。他们声称，艾达将这些要素带入了LLM培训。他们还宣传了IDA的效率，并指出他们的团队虽然很小，但在大约75天内设法开发了这些模型。与其他方法相比，例如从人类反馈中学习（RLHF）或较大模型的标准蒸馏，据说IDA可提供更好的可扩展性。
作为证明，深Cogito强调了他们的70b模型如何优于Llama 3.3 70b（从405B模型蒸馏）和Llama 4 Scout 109b（从2T参数模型中蒸馏）。
Deep Cogito模型的功能和性能
基于Llama和Qwen检查点的新的Cogito模型是针对编码，功能调用和代理应用程序量身定制的。出色的功能是它们的双重功能：“每个模型都可以直接回答（标准LLM），或者在回答之前自我反射（如推理模型）。”这反映了Claude 3.5之类的模型中看到的功能。但是，Cogito提到他们并没有专注于很长的推理链，优先考虑更快的答案和蒸馏较短的链条的效率。
该公司已分享了广泛的基准结果，将其Cogito模型与直接和推理模式中的尺寸等效的开放模型进行了比较。在MMLU，MMLU-PRO，ARC，GSM8K和MATH等一系列基准测试中，以及不同模型尺寸（3B，8B，14B，32B，70B），Cogito模型通常显示出显着的性能改进。例如，Cogito 70B型号在标准模式下的MMLU上得分为91.73％，比Llama 3.3 70B的 +6.40％提高了6.40％，在思维模式下，COGITO MMLU的提高了91.00％，而DeepSeek R1 Distill 70b的 +4.40％的增长率为 +4.40％。 LiveBench分数也反映了这些收益。
以下是中型比较的14B模型的基准：
虽然Cogito Deep Cogito承认基准并不能完全捕获现实世界的实用程序，但他们仍然对模型的实际性能充满信心。该版本被认为是一个预览，该公司表示他们“仍处于这种缩放曲线的早期阶段”。他们计划在未来几周和几个月内释放当前尺寸的改进检查点，并引入更大的MOE型号（109b，400b，671b）。所有未来的模型也将是开源的。
Microsoft 365 Copilot представляет редизайн с расширенным поиском, изображением и ноутбуком
Microsoft готовится к новому приложению Microsoft 365 Copilot, предназначенное для удовлетворения потребностей бизнеса, при этом более тесно интегрируясь с удобными для потребителя функциями обычного Copilot. Обновленная версия может похвастаться поиском с AI, новой функцией «Создать», которая использует OPE
Дебаты по сравнению с ИИ достигли покемонов
Даже любимый мир покемонов не застрахован от драмы, окружающей тесты ИИ. Недавний вирусный пост на X разжигал настоящий гул, утверждая, что последняя модель Gemini Google опередила ведущую модель Claude Antropic в классической трилогии видеоигр Pokémon. Согласно сообщению, Близнецы
10 лучших инструментов маркетинга искусственного интеллекта на апрель 2025 г.
Искусственный интеллект (ИИ) встряхивает отрасли влево и вправо, и маркетинг не является исключением. От небольших стартапов до крупных корпораций, предприятия все чаще обращаются к инструментам маркетинга искусственного интеллекта, чтобы повысить видимость своего бренда и стимулировать их рост. Включение этих инструментов в ваш бизнес
2025年04月19日 22:12:37
Deep Cogito's LLMs are impressive, but the app could use a better UI. It's a bit clunky to navigate through the different model sizes. Still, the performance is top-notch, especially with the IDA tech. Definitely worth a look if you're into AI and want to see what's possible with large language models! 🤖💡
0
2025年04月20日 04:40:17
ディープコギトのLLMは印象的ですが、アプリのUIがもう少し改善されると良いですね。モデルサイズをナビゲートするのが少しぎこちないです。それでも、パフォーマンスは最高で、特にIDAテクノロジーとの組み合わせが素晴らしいです。AIに興味があるなら、大規模言語モデルの可能性を見る価値がありますよ！🤖💡
0
2025年04月19日 03:58:42
Os LLMs da Deep Cogito são impressionantes, mas o app poderia ter uma UI melhor. É um pouco desajeitado navegar pelos diferentes tamanhos de modelo. Ainda assim, o desempenho é de primeira linha, especialmente com a tecnologia IDA. Vale a pena dar uma olhada se você gosta de IA e quer ver o que é possível com modelos de linguagem grandes! 🤖💡
0
2025年04月18日 20:01:50
Los LLMs de Deep Cogito son impresionantes, pero la app podría tener una mejor UI. Es un poco torpe navegar entre los diferentes tamaños de modelo. Aún así, el rendimiento es de primera, especialmente con la tecnología IDA. Vale la pena echar un vistazo si te interesa la IA y quieres ver lo que es posible con modelos de lenguaje grandes! 🤖💡
0
2025年04月21日 03:16:16
LLM от Deep Cogito впечатляют, но приложение могло бы иметь лучший UI. Навигация по разным размерам моделей немного неуклюжая. Тем не менее, производительность на высшем уровне, особенно с технологией IDA. Обязательно стоит посмотреть, если вы интересуетесь ИИ и хотите увидеть, что возможно с большими языковыми моделями! 🤖💡
0
2025年04月19日 00:12:00
Deep Cogito's LLMs are a game-changer! The performance boost over similar-sized models is impressive. I've been using the 70 billion parameter model for my research, and it's like having a super-smart assistant. Only downside? It's a bit resource-heavy. Still, totally worth it! 🚀
0
