ディープコグニト、オープンソースAIモデルをリリースしランキング上位に

Deep Cogitoが革新的なAIモデルで登場

画期的な動きとして、サンフランシスコに拠点を置く最先端のAI研究スタートアップであるDeep Cogitoは、初のオープンソース大規模言語モデル（LLM）であるCogito v1を正式に発表しました。これらのモデルは、MetaのLlama 3.2から微調整されており、迅速に応答するか、内省的思考を行うハイブリッド推論機能を誇ります。これはOpenAIの「o」シリーズやDeepSeek R1を彷彿とさせる機能です。

Deep Cogitoは、モデル内で反復的な自己改善を促進することで、従来の人間の監督制約を超えたAIの推進を目指しています。彼らの最終目標は？ 全分野で人間の能力を超えるスーパーインテリジェンス—AIの開発です。それでも、同社はすべてのモデルをオープンソースに保つと保証しています。

Deep CogitoのCEO兼共同創業者であるDrishan Aroraは、以前Googleでシニアソフトウェアエンジニアとして、Googleの生成検索製品向けLLMの開発を主導していました。彼はXで、これらのモデルは同規模のオープンソースモデルの中で最も優れており、LLaMA、DeepSeek、Qwenなどの競合を上回ると自信を持って述べました。

モデルラインナップ

初期提供には、30億、80億、140億、320億、700億パラメータの5つの基本サイズが含まれており、Hugging Face、Ollama、FireworksやTogether AI経由のAPIなどのプラットフォームで既にアクセス可能です。これらのモデルはLlamaライセンス条件の下で動作し、月間7億ユーザーまでの商用利用が可能です。それを超える場合はMetaから有料ライセンスが必要です。

Deep Cogitoは、近い将来、最大6710億パラメータに達するさらに大規模なモデルを展開する予定です。

トレーニングアプローチ：反復蒸留と増幅（IDA）

Aroraは、従来の人間のフィードバックからの強化学習（RLHF）や教師モデル蒸留とは異なる新しい方法であるIDAを紹介しました。IDAは、追加の計算リソースを割り当てて優れたソリューションを生成し、その強化された推論をモデル自体に組み込むことに重点を置き、能力を向上させる継続的なフィードバックループを目指します。このアプローチは、Google AlphaGoの自己対戦戦略を自然言語処理に適応させたものです。

ベンチマークと評価

Deep Cogitoは、一般知識、数学的推論、多言語タスクなどの分野で、Cogitoモデルと他のオープンソースモデルを比較した包括的な評価結果を提示しました。主な結果は以下の通りです：

• Cogito 3B（標準）： MMLUでLLaMA 3.2 3Bを6.7パーセントポイント上回る（65.4%対58.7%）、Hellaswagで18.8ポイント上回る（81.1%対62.3%）。
• Cogito 3B（推論モード）： MMLUで72.6%、ARCで84.2%を記録。
• Cogito 8B（標準）： MMLUで80.5%を達成し、LLaMA 3.1 8Bを12.8ポイント上回る。
• Cogito 8B（推論モード）： MMLUで83.1%、ARCで92.0%を記録。
• Cogito 70B（標準）： MMLUでLLaMA 3.3 70Bを6.4ポイント上回る（91.7%対85.3%）、総合ベンチマークでLLaMA 4 Scout 109Bを上回る（54.5%対53.3%）。

Cogitoモデルは推論モードで優れていますが、特に数学的タスクにおいてトレードオフが存在します。

ネイティブツール呼び出し

Deep Cogitoは、エージェントやAPI統合システムにとって重要な側面であるモデルのネイティブツール呼び出し性能も評価しました。

• Cogito 3B： 4つのツール呼び出しタスクをサポートし、シンプルおよび複数ツール呼び出しで優れる。
• Cogito 8B： すべてのツール呼び出しタイプで強力な性能を示し、LLaMA 3.1 8Bを大きく上回る。

今後の計画

今後、Deep Cogitoは、109B、400B、671Bパラメータのエキスパート混合モデルを含むより大規模なモデルの導入や、既存のチェックポイントの継続的な更新を計画しています。同社は、IDAを持続可能なスケーラブルな自己改善への道筋と見なしており、人間や静的教師モデルへの依存を軽減します。

Aroraは、現実世界での有用性と適応性が成功の最終的な指標であると強調し、これが有望な旅の始まりに過ぎないと述べました。Deep Cogitoは、Hugging Face、RunPod、Fireworks AI、Together AI、Ollamaなどの著名な企業と協力し、すべてのモデルがオープンソースで自由にアクセス可能であることを保証しています。