深度認知發布開源AI模型，已名列前茅

深度Cogito推出革命性AI模型

在一個突破性的舉動中，位於舊金山的尖端AI研究初創公司Deep Cogito正式推出了其首款開源大型語言模型（LLMs），命名為Cogito v1。這些模型基於Meta的Llama 3.2進行微調，擁有混合推理能力，能夠快速響應或進行內省思考——這一功能類似於OpenAI的“o”系列和DeepSeek R1。

Deep Cogito希望通過促進模型內的迭代自我改進，推動AI超越傳統的人類監督限制。他們的最終目標？開發超級智能——在所有領域超越人類能力的AI。然而，該公司保證所有模型將保持開源。

Deep Cogito的首席執行官兼聯合創始人Drishan Arora此前在Google擔任高級軟件工程師，領導Google生成式搜索產品的LLM開發。他在X上自信地表示，這些模型在其規模上是表現最強的開源模型，超越了LLaMA、DeepSeek和Qwen等競爭對手。

模型陣容

初始產品包括五種基礎規模——30億、80億、140億、320億和700億參數——現已可在Hugging Face、Ollama以及通過Fireworks和Together AI的API等平台訪問。這些模型遵循Llama許可條款，允許商業使用，每月最多支持7億用戶，超過此數量需從Meta獲得付費許可。

Deep Cogito計劃在不久的將來推出更大的模型，參數可能達到6710億。

訓練方法：迭代蒸餾與放大（IDA）

Arora介紹了IDA，這是一種不同於傳統強化學習（RLHF）或教師模型蒸餾的新方法。IDA專注於分配額外的計算資源來生成更優的解決方案，隨後將這種增強的推理嵌入模型本身——形成一個旨在提升能力的持續反饋循環。這種方法類似於Google AlphaGo的自對弈策略，適應於自然語言處理。

基準測試與評估

Deep Cogito展示了對Cogito模型與開源競爭對手的全面評估結果，涵蓋一般知識、數學推理和多語言任務等領域。主要發現包括：

• Cogito 3B（標準版）： 在MMLU上超越LLaMA 3.2 3B 6.7個百分點（65.4% vs. 58.7%），在Hellaswag上領先18.8個百分點（81.1% vs. 62.3%）。
• Cogito 3B（推理模式）： 在MMLU上得分72.6%，在ARC上得分84.2%。
• Cogito 8B（標準版）： 在MMLU上達到80.5%，比LLaMA 3.1 8B高12.8個百分點。
• Cogito 8B（推理模式）： 在MMLU上得分83.1%，在ARC上得分92.0%。
• Cogito 70B（標準版）： 在MMLU上領先LLaMA 3.3 70B 6.4個百分點（91.7% vs. 85.3%），並在總體基準測試中超越LLaMA 4 Scout 109B（54.5% vs. 53.3%）。

雖然Cogito模型在推理模式下表現出色，但在數學任務中存在一些權衡。

原生工具調用

Deep Cogito還評估了其模型的原生工具調用性能，這是代理和API集成系統的關鍵方面。

• Cogito 3B： 支持四種工具調用任務，在簡單和多重工具調用中表現出色。
• Cogito 8B： 在所有工具調用類型中表現強勁，顯著超越LLaMA 3.1 8B。

未來計劃

展望未來，Deep Cogito計劃推出更大的模型，包括1090億、4000億和6710億參數的專家混合變體，同時對現有檢查點進行持續更新。該公司將IDA視為實現可擴展自我改進的可持續途徑，減少對人類或靜態教師模型的依賴。

Arora強調，現實世界的實用性和適應性是成功的終極衡量標準，並表示這僅僅是一個充滿希望的旅程的開始。Deep Cogito與Hugging Face、RunPod、Fireworks AI、Together AI和Ollama等知名實體合作，確保所有模型保持開源且可自由訪問。