Deep CogitoのLLMSは、IDAを使用して同様のサイズのモデルよりも優れています

サンフランシスコに拠点を置く会社であるディープコギトは、Open Large Language Models（LLMS）の最新リリースでAIコミュニティで波を作っています。これらのモデルは、30億から700億のパラメーターの範囲のさまざまなサイズで提供され、AIツールの単なるセットではありません。彼らは、会社が「一般的な緊張」と呼ぶものへの大胆な一歩です。 Deep Cogitoは、それぞれのモデルが、ほとんどの標準ベンチマークにわたって、Llama、Deepseek、Qwenを含む同様のサイズの主要なオープンモデルよりも優れていると主張しています。それはかなりの主張ですが、さらに印象的なのは、彼らの70Bモデルが最近リリースされたLlama 4 109B混合物（MOE）モデルを超えていると伝えられています。

繰り返し蒸留と増幅（IDA）

Deep Cogitoのブレークスルーの中心にあるのは、彼らが反復蒸留と増幅（IDA）と呼ぶ新しいトレーニングアプローチです。この方法は、「反復的な自己改善を使用した一般的な緊急事態のためのスケーラブルで効率的なアライメント戦略」として説明されています。従来のLLMトレーニングの制限を超えてプッシュするように設計されています。モデルのインテリジェンスは、より大きな「監督」モデルまたは人間のキュレーターによって定義された天井にヒットすることがよくあります。

IDAプロセスは、何度も繰り返される2つの重要なステップを中心に展開します。

• 増幅：このステップでは、より多くの計算能力を使用して、高度な推論技術と同様に、モデルがより良いソリューションや機能を考案するのに役立ちます。
• 蒸留：ここで、モデルはこれらの改善された機能を内部化し、パラメーターを改善します。

Deep Cogitoは、これにより「肯定的なフィードバックループ」が作成され、モデルのインテリジェンスが計算リソースとIDAプロセス自体の効率により、監督のインテリジェンスによって制限されるのではなく、より直接的に成長できると主張しています。

同社は、Alphagoのような歴史的な成功を指摘し、「高度な推論と反復的自己改善」が非常に重要であることを強調しています。彼らは、これらの要素をLLMトレーニングに持ち込むと主張しています。彼らはまた、IDAの効率性を宣伝しており、彼らのチームは小規模ではあるが、約75日でこれらのモデルを開発することができたと指摘しています。人間のフィードバック（RLHF）からの強化学習や、より大きなモデルからの標準蒸留などの他の方法と比較すると、IDAはより良いスケーラビリティを提供すると言われています。

証明として、Deep Cogitoは、70BモデルがLlama 3.3 70B（405Bモデルから蒸留）とLlama 4 Scout 109B（2Tパラメーターモデルから蒸留）の両方を上回る方法を強調しています。

ディープコギトモデルの機能とパフォーマンス

LlamaおよびQwenのチェックポイントに基づいて構築される新しいCogitoモデルは、コーディング、機能呼び出し、およびエージェントアプリケーションに合わせて調整されています。傑出した機能は、それらの二重機能です。「各モデルは直接回答（標準LLM）、または回答する前（推論モデルのように）自己反映できます。」これは、Claude 3.5などのモデルに見られる機能を反映しています。しかし、深いコギトは、彼らが非常に長い推論チェーンに焦点を合わせておらず、より速い答えと短いチェーンを蒸留する効率に優先順位を付けることに言及していると述べています。

同社は、直接モードと推論モードの両方で、Cogitoモデルをサイズに相当する最先端のオープンモデルと比較して、広範なベンチマーク結果を共有しています。 MMLU、MMLU-PRO、ARC、GSM8K、MATHなどのさまざまなベンチマークと、さまざまなモデルサイズ（3B、8B、14B、32B、70B）にわたって、Cogitoモデルは一般に有意なパフォーマンスの改善を示します。たとえば、Cogito 70Bモデルは、標準モードでMMLUで91.73％、Llama 3.3 70bで +6.40％改善、思考モードで91.00％、DeepSeek R1蒸留70bの +4.40％のブースト。ライブベンチスコアもこれらの利益を反映しています。

中規模の比較のための14Bモデルのベンチマークは次のとおりです。

Deep Cogitoは、ベンチマークが実際のユーティリティを完全にキャプチャしないことを認めていますが、モデルの実際のパフォーマンスに自信を持っています。このリリースはプレビューと見なされ、会社は「まだこのスケーリング曲線の初期段階にある」と述べています。彼らは、現在のサイズの改善されたチェックポイントをリリースし、今後数週間および数ヶ月でより大きなMOEモデル（109b、400b、671b）を導入する予定です。すべての将来のモデルもオープンソースになります。