Deep Cogito的LLMS使用IDA优于类似大小的模型
总部位于旧金山的公司Deep Cogito通过其最新发布的开放大语模型（LLM）在AI社区中引起了轰动。这些模型的各种尺寸从30亿到700亿个参数不等，不仅是另一套AI工具。它们是迈向公司所谓的“一般超级智能”的大胆一步。 Deep Cogito声称，在大多数标准的基准中，他们的每个模型都优于类似尺寸的领先开放模型，包括来自Llama，DeepSeek和Qwen的模型。这是一个很大的说法，但更令人印象深刻的是，据报道，他们的70B型号超过了最近发布的Llama 4 109b混合物（MOE）型号。
迭代蒸馏和放大（IDA）
Deep Cogito突破的核心是他们称为迭代蒸馏和放大（IDA）的一种新的训练方法。该方法被描述为“使用迭代自我改善的一般超级智能的可扩展有效的一致性策略”。它旨在超越传统LLM培训的局限性，在该训练中，该模型的智能经常击中由更大的“监督”模型或人类策展人定义的天花板。
IDA过程围绕着两个重复的两个关键步骤旋转：
- 放大：此步骤使用更多的计算能力来帮助模型提供更好的解决方案或功能，就像先进的推理技术一样。
- 蒸馏：在这里，该模型将这些改进的功能内化，从而完善其参数。
Deep Cogito认为，这会创建一个“积极的反馈循环”，从而使模型的智能可以通过计算资源和IDA过程本身的效率更直接地增长，而不是受监督者的智能限制。
该公司指出了像阿尔法戈这样的历史成功，强调“先进的推理和迭代自我完善”至关重要。他们声称，艾达将这些要素带入了LLM培训。他们还宣传了IDA的效率，并指出他们的团队虽然很小，但在大约75天内设法开发了这些模型。与其他方法相比，例如从人类反馈中学习（RLHF）或较大模型的标准蒸馏，据说IDA可提供更好的可扩展性。
作为证明，深Cogito强调了他们的70b模型如何优于Llama 3.3 70b（从405B模型蒸馏）和Llama 4 Scout 109b（从2T参数模型中蒸馏）。
Deep Cogito模型的功能和性能
基于Llama和Qwen检查点的新的Cogito模型是针对编码，功能调用和代理应用程序量身定制的。出色的功能是它们的双重功能：“每个模型都可以直接回答（标准LLM），或者在回答之前自我反射（如推理模型）。”这反映了Claude 3.5之类的模型中看到的功能。但是，Cogito提到他们并没有专注于很长的推理链，优先考虑更快的答案和蒸馏较短的链条的效率。
该公司已分享了广泛的基准结果，将其Cogito模型与直接和推理模式中的尺寸等效的开放模型进行了比较。在MMLU，MMLU-PRO，ARC，GSM8K和MATH等一系列基准测试中，以及不同模型尺寸（3B，8B，14B，32B，70B），Cogito模型通常显示出显着的性能改进。例如，Cogito 70B型号在标准模式下的MMLU上得分为91.73％，比Llama 3.3 70B的 +6.40％提高了6.40％，在思维模式下，COGITO MMLU的提高了91.00％，而DeepSeek R1 Distill 70b的 +4.40％的增长率为 +4.40％。 LiveBench分数也反映了这些收益。
以下是中型比较的14B模型的基准：
虽然Cogito Deep Cogito承认基准并不能完全捕获现实世界的实用程序，但他们仍然对模型的实际性能充满信心。该版本被认为是一个预览，该公司表示他们“仍处于这种缩放曲线的早期阶段”。他们计划在未来几周和几个月内释放当前尺寸的改进检查点，并引入更大的MOE型号（109b，400b，671b）。所有未来的模型也将是开源的。
相关文章
AI가 역사적 언어를 모방하는 데 어려움을 겪는다
미국과 캐나다의 연구팀은 ChatGPT와 같은 대형 언어 모델이 광범위하고 비용이 많이 드는 사전 훈련 없이 역사적 관용구를 정확히 재현하는 데 어려움을 겪는다는 것을 발견했다. 이 문제는 AI를 사용해 찰스 디킨스의 미완성 마지막 소설을 완성하는 것과 같은 야심찬 프로젝트를 학술 및 엔터테인먼트 분야에서 실현하기 어렵게 만든다.연구팀은 역사적으로 정확한
억만장자들이 이번 주 AI 업데이트에서 일자리 자동화에 대해 논의하다
안녕하세요, TechCrunch의 AI 뉴스레터에 다시 오신 것을 환영합니다! 아직 구독하지 않으셨다면, 매주 수요일마다 받은 편지함으로 바로 배달받을 수 있도록 여기를 클릭해 구독하세요.지난주에는 잠시 쉬었지만, 그럴만한 이유가 있었습니다—중국의 AI 회사 DeepSeek의 갑작스러운 급부상 덕분에 AI 뉴스 사이클이 뜨거웠습니다. 정신없는 시간이였지만,
NotebookLM 앱 출시: AI 기반 지식 도구
NotebookLM 모바일 출시: 이제 Android와 iOS에서 만나는 AI 연구 보조 도구NotebookLM에 대한 여러분의 뜨거운 반응에 깊이 감사드립니다. 수백만 사용자가 복잡한 정보를 이해하는 필수 도구로 NotebookLM을 선택해주셨습니다. 하지만 가장 많이 받은 요청은 바로 "언제 모바일에서 사용할 수 있나
评论 (25)
0/200
![EricKing]()
EricKing
2025-04-20 08:00:00
Deep Cogito's LLMs are impressive, but the app could use a better UI. It's a bit clunky to navigate through the different model sizes. Still, the performance is top-notch, especially with the IDA tech. Definitely worth a look if you're into AI and want to see what's possible with large language models! 🤖💡
0
![EricRoberts]()
EricRoberts
2025-04-20 08:00:00
ディープコギトのLLMは印象的ですが、アプリのUIがもう少し改善されると良いですね。モデルサイズをナビゲートするのが少しぎこちないです。それでも、パフォーマンスは最高で、特にIDAテクノロジーとの組み合わせが素晴らしいです。AIに興味があるなら、大規模言語モデルの可能性を見る価値がありますよ！🤖💡
0
![RichardThomas]()
RichardThomas
2025-04-19 08:00:00
Os LLMs da Deep Cogito são impressionantes, mas o app poderia ter uma UI melhor. É um pouco desajeitado navegar pelos diferentes tamanhos de modelo. Ainda assim, o desempenho é de primeira linha, especialmente com a tecnologia IDA. Vale a pena dar uma olhada se você gosta de IA e quer ver o que é possível com modelos de linguagem grandes! 🤖💡
0
![WillMitchell]()
WillMitchell
2025-04-19 08:00:00
Los LLMs de Deep Cogito son impresionantes, pero la app podría tener una mejor UI. Es un poco torpe navegar entre los diferentes tamaños de modelo. Aún así, el rendimiento es de primera, especialmente con la tecnología IDA. Vale la pena echar un vistazo si te interesa la IA y quieres ver lo que es posible con modelos de lenguaje grandes! 🤖💡
0
![GregoryCarter]()
GregoryCarter
2025-04-21 08:00:00
LLM от Deep Cogito впечатляют, но приложение могло бы иметь лучший UI. Навигация по разным размерам моделей немного неуклюжая. Тем не менее, производительность на высшем уровне, особенно с технологией IDA. Обязательно стоит посмотреть, если вы интересуетесь ИИ и хотите увидеть, что возможно с большими языковыми моделями! 🤖💡
0
![JackHernández]()
JackHernández
2025-04-19 08:00:00
Deep Cogito's LLMs are a game-changer! The performance boost over similar-sized models is impressive. I've been using the 70 billion parameter model for my research, and it's like having a super-smart assistant. Only downside? It's a bit resource-heavy. Still, totally worth it! 🚀
0
总部位于旧金山的公司Deep Cogito通过其最新发布的开放大语模型（LLM）在AI社区中引起了轰动。这些模型的各种尺寸从30亿到700亿个参数不等，不仅是另一套AI工具。它们是迈向公司所谓的“一般超级智能”的大胆一步。 Deep Cogito声称，在大多数标准的基准中，他们的每个模型都优于类似尺寸的领先开放模型，包括来自Llama，DeepSeek和Qwen的模型。这是一个很大的说法，但更令人印象深刻的是，据报道，他们的70B型号超过了最近发布的Llama 4 109b混合物（MOE）型号。
迭代蒸馏和放大（IDA）
Deep Cogito突破的核心是他们称为迭代蒸馏和放大（IDA）的一种新的训练方法。该方法被描述为“使用迭代自我改善的一般超级智能的可扩展有效的一致性策略”。它旨在超越传统LLM培训的局限性，在该训练中，该模型的智能经常击中由更大的“监督”模型或人类策展人定义的天花板。
IDA过程围绕着两个重复的两个关键步骤旋转：
- 放大：此步骤使用更多的计算能力来帮助模型提供更好的解决方案或功能，就像先进的推理技术一样。
- 蒸馏：在这里，该模型将这些改进的功能内化，从而完善其参数。
Deep Cogito认为，这会创建一个“积极的反馈循环”，从而使模型的智能可以通过计算资源和IDA过程本身的效率更直接地增长，而不是受监督者的智能限制。
该公司指出了像阿尔法戈这样的历史成功，强调“先进的推理和迭代自我完善”至关重要。他们声称，艾达将这些要素带入了LLM培训。他们还宣传了IDA的效率，并指出他们的团队虽然很小，但在大约75天内设法开发了这些模型。与其他方法相比，例如从人类反馈中学习（RLHF）或较大模型的标准蒸馏，据说IDA可提供更好的可扩展性。
作为证明，深Cogito强调了他们的70b模型如何优于Llama 3.3 70b（从405B模型蒸馏）和Llama 4 Scout 109b（从2T参数模型中蒸馏）。
Deep Cogito模型的功能和性能
基于Llama和Qwen检查点的新的Cogito模型是针对编码，功能调用和代理应用程序量身定制的。出色的功能是它们的双重功能：“每个模型都可以直接回答（标准LLM），或者在回答之前自我反射（如推理模型）。”这反映了Claude 3.5之类的模型中看到的功能。但是，Cogito提到他们并没有专注于很长的推理链，优先考虑更快的答案和蒸馏较短的链条的效率。
该公司已分享了广泛的基准结果，将其Cogito模型与直接和推理模式中的尺寸等效的开放模型进行了比较。在MMLU，MMLU-PRO，ARC，GSM8K和MATH等一系列基准测试中，以及不同模型尺寸（3B，8B，14B，32B，70B），Cogito模型通常显示出显着的性能改进。例如，Cogito 70B型号在标准模式下的MMLU上得分为91.73％，比Llama 3.3 70B的 +6.40％提高了6.40％，在思维模式下，COGITO MMLU的提高了91.00％，而DeepSeek R1 Distill 70b的 +4.40％的增长率为 +4.40％。 LiveBench分数也反映了这些收益。
以下是中型比较的14B模型的基准：
虽然Cogito Deep Cogito承认基准并不能完全捕获现实世界的实用程序，但他们仍然对模型的实际性能充满信心。该版本被认为是一个预览，该公司表示他们“仍处于这种缩放曲线的早期阶段”。他们计划在未来几周和几个月内释放当前尺寸的改进检查点，并引入更大的MOE型号（109b，400b，671b）。所有未来的模型也将是开源的。
AI가 역사적 언어를 모방하는 데 어려움을 겪는다
미국과 캐나다의 연구팀은 ChatGPT와 같은 대형 언어 모델이 광범위하고 비용이 많이 드는 사전 훈련 없이 역사적 관용구를 정확히 재현하는 데 어려움을 겪는다는 것을 발견했다. 이 문제는 AI를 사용해 찰스 디킨스의 미완성 마지막 소설을 완성하는 것과 같은 야심찬 프로젝트를 학술 및 엔터테인먼트 분야에서 실현하기 어렵게 만든다.연구팀은 역사적으로 정확한
억만장자들이 이번 주 AI 업데이트에서 일자리 자동화에 대해 논의하다
안녕하세요, TechCrunch의 AI 뉴스레터에 다시 오신 것을 환영합니다! 아직 구독하지 않으셨다면, 매주 수요일마다 받은 편지함으로 바로 배달받을 수 있도록 여기를 클릭해 구독하세요.지난주에는 잠시 쉬었지만, 그럴만한 이유가 있었습니다—중국의 AI 회사 DeepSeek의 갑작스러운 급부상 덕분에 AI 뉴스 사이클이 뜨거웠습니다. 정신없는 시간이였지만,
NotebookLM 앱 출시: AI 기반 지식 도구
NotebookLM 모바일 출시: 이제 Android와 iOS에서 만나는 AI 연구 보조 도구NotebookLM에 대한 여러분의 뜨거운 반응에 깊이 감사드립니다. 수백만 사용자가 복잡한 정보를 이해하는 필수 도구로 NotebookLM을 선택해주셨습니다. 하지만 가장 많이 받은 요청은 바로 "언제 모바일에서 사용할 수 있나
2025-04-20 08:00:00
Deep Cogito's LLMs are impressive, but the app could use a better UI. It's a bit clunky to navigate through the different model sizes. Still, the performance is top-notch, especially with the IDA tech. Definitely worth a look if you're into AI and want to see what's possible with large language models! 🤖💡
0
2025-04-20 08:00:00
ディープコギトのLLMは印象的ですが、アプリのUIがもう少し改善されると良いですね。モデルサイズをナビゲートするのが少しぎこちないです。それでも、パフォーマンスは最高で、特にIDAテクノロジーとの組み合わせが素晴らしいです。AIに興味があるなら、大規模言語モデルの可能性を見る価値がありますよ！🤖💡
0
2025-04-19 08:00:00
Os LLMs da Deep Cogito são impressionantes, mas o app poderia ter uma UI melhor. É um pouco desajeitado navegar pelos diferentes tamanhos de modelo. Ainda assim, o desempenho é de primeira linha, especialmente com a tecnologia IDA. Vale a pena dar uma olhada se você gosta de IA e quer ver o que é possível com modelos de linguagem grandes! 🤖💡
0
2025-04-19 08:00:00
Los LLMs de Deep Cogito son impresionantes, pero la app podría tener una mejor UI. Es un poco torpe navegar entre los diferentes tamaños de modelo. Aún así, el rendimiento es de primera, especialmente con la tecnología IDA. Vale la pena echar un vistazo si te interesa la IA y quieres ver lo que es posible con modelos de lenguaje grandes! 🤖💡
0
2025-04-21 08:00:00
LLM от Deep Cogito впечатляют, но приложение могло бы иметь лучший UI. Навигация по разным размерам моделей немного неуклюжая. Тем не менее, производительность на высшем уровне, особенно с технологией IDA. Обязательно стоит посмотреть, если вы интересуетесь ИИ и хотите увидеть, что возможно с большими языковыми моделями! 🤖💡
0
2025-04-19 08:00:00
Deep Cogito's LLMs are a game-changer! The performance boost over similar-sized models is impressive. I've been using the 70 billion parameter model for my research, and it's like having a super-smart assistant. Only downside? It's a bit resource-heavy. Still, totally worth it! 🚀
0
