Deep Cogito의 LLMS는 IDA를 사용하여 유사한 크기의 모델보다 우수합니다

샌프란시스코에 본사를 둔 Deep Cogito는 AI 커뮤니티에서 최신 Open Lange Language Models (LLM)를 릴리스하여 파도를 만들고 있습니다. 30 억에서 70 억의 매개 변수 범위의 다양한 크기로 제공되는이 모델은 또 다른 AI 도구 세트가 아닙니다. 그들은 회사가 "일반 초 지능"이라고 부르는 대담한 단계입니다. Deep Cogito는 각 모델이 대부분의 표준 벤치 마크에서 Llama, Deepseek 및 Qwen의 모델을 포함하여 유사한 크기의 주요 개방형 모델을 능가한다고 주장합니다. 그것은 꽤 주장이지만, 더욱 인상적인 것은 그들의 70B 모델이 최근에 출시 된 LLAMA 4 109B Mixper-of-Experts (MOE) 모델보다 더 많이 보여준 것으로 알려졌다.

반복 증류 및 증폭 (IDA)

Deep Cogito의 획기적인 핵심은 반복 증류 및 증폭 (IDA)이라고 부르는 새로운 훈련 접근법이 있습니다. 이 방법은 "반복적 인 자기 개선을 사용한 일반적인 초 지능을위한 확장 가능하고 효율적인 정렬 전략"으로 설명됩니다. 이 모델은 전통적인 LLM 교육의 한계를 뛰어 넘어 모델의 지능이 종종 더 큰 "감독자"모델 또는 인간 큐레이터로 정의 된 천장에 부딪칩니다.

IDA 프로세스는 반복해서 반복되는 두 가지 주요 단계를 중심으로 진행됩니다.

• 증폭 : 이 단계는 더 많은 계산 능력을 사용하여 고급 추론 기술과 마찬가지로 모델이 더 나은 솔루션이나 기능을 제공 할 수 있도록 도와줍니다.
• 증류 : 여기서, 모델은 이러한 개선 된 기능을 내부화하여 매개 변수를 정제합니다.

Deep Cogito는 이것이 "긍정적 인 피드백 루프"를 생성한다고 주장하며, 이는 전환자의 지능에 의해 제한되지 않고 계산 자원과 IDA 프로세스 자체의 효율성으로 모델의 지능이 더 직접적으로 성장할 수 있다고 주장합니다.

이 회사는 Alphago와 같은 역사적 성공을 지적하며, "고급 추론과 반복적 인 자기 개선"이 중요하다는 점을 강조합니다. 그들은 Ida는 이러한 요소를 LLM 교육에 가져옵니다. 그들은 또한 팀이 작지만 약 75 일 만에 이러한 모델을 개발할 수 있다고 지적하면서 IDA의 효율성을 선전했습니다. 인간 피드백 (RLHF)의 강화 학습 (RLHF) 또는 더 큰 모델의 표준 증류와 같은 다른 방법과 비교할 때 IDA는 더 나은 확장 성을 제공한다고합니다.

증거로서 Deep Cogito는 70B 모델이 LLAMA 3.3 70B (405B 모델에서 증류)와 LLAMA 4 Scout 109B (2T 매개 변수 모델에서 증류)를 능가하는 방법을 강조합니다.

딥 코기 모델의 기능 및 성능

Llama 및 Qwen 체크 포인트를 기반으로하는 새로운 Cogito 모델은 코딩, 기능 호출 및 에이전트 응용 프로그램에 맞게 조정되었습니다. 눈에 띄는 기능은 이중 기능입니다. "각 모델은 직접 답변 (표준 LLM) 또는 답변하기 전에 (추론 모델과 같은) 답변 할 수 있습니다." 이 기능은 Claude 3.5와 같은 모델에서 볼 수 있습니다. 그러나 Deep Cogito는 그들이 긴 추론 체인에 초점을 맞추지 않았으며, 더 빠른 답변과 짧은 체인을 증류하는 효율성을 우선시하지 않았다고 언급했습니다.

이 회사는 직접 및 추론 모드에서 크기와 동등한 최첨단 개방형 모델과 Cogito 모델을 비교하여 광범위한 벤치 마크 결과를 공유했습니다. MMLU, MMLU-PRO, ARC, GSM8K 및 MATH와 같은 다양한 벤치 마크 및 다양한 모델 크기 (3B, 8B, 14B, 32B, 70B)에서 Cogito 모델은 일반적으로 상당한 성능 향상을 보여줍니다. 예를 들어, Cogito 70B 모델은 표준 모드에서 MMLU에서 91.73%, LLAMA 3.3 70B에서 A +6.40% 개선, 사고 모드에서 91.00%, DeepSeek R1 Distill 70B보다 +4.40% 증가했습니다. LiveBench 점수는 이러한 이익도 반영합니다.

다음은 중간 크기 비교를위한 14B 모델의 벤치 마크입니다.

Deep Cogito는 벤치 마크가 실제 유틸리티를 완전히 포착하지 못한다는 것을 인정하지만 모델의 실제 성능에 대해 확신을 가지고 있습니다. 이 릴리스는 미리보기로 간주되며 회사는 "여전히이 스케일링 곡선의 초기 단계에 있습니다"라고 말합니다. 그들은 현재 크기에 대한 개선 된 체크 포인트를 출시 할 계획이며 앞으로 몇 주 및 몇 달 안에 더 큰 MOE 모델 (109b, 400b, 671b)을 소개 할 계획입니다. 모든 미래 모델도 오픈 소스가 될 것입니다.