ディープコグニト、オープンソースAIモデルをリリースしランキング上位に

ディープコジート、画期的なAIモデルを発表

サンフランシスコに本拠を置く革新的なAI研究スタートアップ、ディープコジートは、ついに初のオープンソース大型言語モデル（LLM）ラインナップ、「コジートv1」を正式に発表しました。これらのモデルはメタのLlama 3.2から微調整されており、ハイブリッドな推論能力を備えており、迅速な応答や内省的な思考を可能にします。これはOpenAIの「o」シリーズやDeepSeek R1に似た機能です。

ディープコジートは、モデル内の反復的な自己改善を通じて、従来の人間の監視制約を超えるAIの可能性を追求することを目指しています。彼らの最終目標は、あらゆる分野で人間の能力を超越するスーパーアイ intelligence（超知能）を開発することです。しかし、同社は全てのモデルがオープンソースであることを保証しています。

CEO兼共同創業者のドリシャン・アルーラは、以前グーグルで上級ソフトウェアエンジニアとして働いており、グーグルのジェネレーティブ検索製品向けのLLMの開発を率いました。彼はX上で自信を持って述べています。「これらのモデルは、同等規模で最も強力なオープンモデルであり、LLaMA、DeepSeek、Qwenなどの競合他社を上回っています」と。

モデルラインナップ

最初の提供には、30億、80億、140億、320億、700億パラメーターの5つの基本サイズが含まれており、すでにHugging Face、Ollama、FireworksおよびTogether AI経由のAPIを通じてアクセス可能です。これらのモデルはLlamaのライセンス条件に基づき、月間ユーザー数が7億人を超えるまで商用利用が可能です。

ディープコジートは近いうちにさらに大きなモデルをリリースし、最大6710億パラメーターに達する予定です。

トレーニング手法：反復蒸留と拡大（IDA）

アルーラは、従来のヒューマンフィードバックからの強化学習（RLHF）や教師モデルの蒸留とは異なる新しい方法であるIDAを導入しました。IDAは、追加の計算資源を割り当てて優れた解決策を生成し、その高度な推論をモデル自体に埋め込むことに焦点を当てています。これは、モデルの能力を向上させるための継続的なフィードバックループです。このアプローチは、Google AlphaGoの自己プレイ戦略を自然言語処理に適応させたものに似ています。

ベンチマークと評価

ディープコジートは、一般知識、数学的推論、多言語タスクなどにおけるコジートモデルとオープンソース対応モデルの比較結果を包括的に発表しました。主な発見には以下の通りです：

• コジート3B（標準）: MMLUでLLaMA 3.2 3Bを6.7ポイント上回り（65.4％対58.7％）、Hellaswagでは18.8ポイント上回る（81.1％対62.3％）。
• コジート3B（推論モード）: MMLUで72.6％、ARCで84.2％のスコアを達成。
• コジート8B（標準）: MMLUで80.5％のスコアを達成し、LLaMA 3.1 8Bを12.8ポイント上回る。
• コジート8B（推論モード）: MMLUで83.1％、ARCで92.0％のスコアを達成。
• コジート70B（標準）: MMLUでLLaMA 3.3 70Bを6.4ポイント上回り（91.7％対85.3％）、LLaMA 4 Scout 109Bの総合ベンチマークで54.5％対53.3％を達成。

コジートモデルは推論モードで卓越していますが、特に数学的タスクにおいていくつかのトレードオフがあります。

ネイティブツール呼び出し

ディープコジートはまた、エージェントやAPI統合システムにとって重要な要素であるモデルのネイティブツール呼び出し性能も評価しました。

• コジート3B: 四つのツール呼び出しタスクをサポートし、シンプルなツール呼び出しと複数のツール呼び出しで優れたパフォーマンスを示す。
• コジート8B: 全てのツール呼び出しタイプで優れたパフォーマンスを発揮し、LLaMA 3.1 8Bを大幅に上回る。

将来計画

今後、ディープコジートはより大きなモデルを導入する予定で、109B、400B、671Bパラメーターの混合専門家バージョンも含みます。また、既存のチェックポイントに対する定期的な更新も行います。同社はIDAをスケーラブルな自己改善への持続可能な道筋と見なし、人間や静的な教師モデルへの依存度を減らすことを目指しています。

アルーラは、現実世界での実用性と適応力が成功の最終基準であり、これが素晴らしい旅のはじまりに過ぎないと強調しました。ディープコジートは、Hugging Face、RunPod、Fireworks AI、Together AI、Ollamaなどの著名なパートナーと協力し、全てのモデルがオープンソースであり自由にアクセス可能であることを確保しています。