Deep Cogito的LLMS使用IDA優於類似大小的模型
2025年04月18日
JoseAdams
91
總部位於舊金山的公司Deep Cogito通過其最新發布的開放大語模型（LLM）在AI社區中引起了轟動。這些模型的各種尺寸從30億到700億個參數不等，不僅是另一套AI工具。它們是邁向公司所謂的“一般超級智能”的大膽一步。 Deep Cogito聲稱，在大多數標準的基準中，他們的每個模型都優於類似尺寸的領先開放模型，包括來自Llama，DeepSeek和Qwen的模型。這是一個很大的說法，但更令人印象深刻的是，據報導，他們的70B型號超過了最近發布的Llama 4 109b混合物（MOE）型號。
迭代蒸餾和放大（IDA）
Deep Cogito突破的核心是他們稱為迭代蒸餾和放大（IDA）的一種新的訓練方法。該方法被描述為“使用迭代自我改善的一般超級智能的可擴展有效的一致性策略”。它旨在超越傳統LLM培訓的局限性，在該訓練中，該模型的智能經常擊中由更大的“監督”模型或人類策展人定義的天花板。
IDA過程圍繞著兩個重複的兩個關鍵步驟旋轉：
- 放大：此步驟使用更多的計算能力來幫助模型提供更好的解決方案或功能，就像先進的推理技術一樣。
- 蒸餾：在這裡，該模型將這些改進的功能內化，從而完善其參數。
Deep Cogito認為，這會創建一個“積極的反饋循環”，從而使模型的智能可以通過計算資源和IDA過程本身的效率更直接地增長，而不是受監督者的智能限制。
該公司指出了像阿爾法戈這樣的歷史成功，強調“先進的推理和迭代自我完善”至關重要。他們聲稱，艾達將這些要素帶入了LLM培訓。他們還宣傳了IDA的效率，並指出他們的團隊雖然很小，但在大約75天內設法開發了這些模型。與其他方法相比，例如從人類反饋中學習（RLHF）或較大模型的標準蒸餾，據說IDA可提供更好的可擴展性。
作為證明，深Cogito強調了他們的70b模型如何優於Llama 3.3 70b（從405B模型蒸餾）和Llama 4 Scout 109b（從2T參數模型中蒸餾）。
Deep Cogito模型的功能和性能
基於Llama和Qwen檢查點的新的Cogito模型是針對編碼，功能調用和代理應用程序量身定制的。出色的功能是它們的雙重功能：“每個模型都可以直接回答（標準LLM），或者在回答之前自我反射（如推理模型）。”這反映了Claude 3.5之類的模型中看到的功能。但是，Cogito提到他們並沒有專注於很長的推理鏈，優先考慮更快的答案和蒸餾較短的鏈條的效率。
該公司已分享了廣泛的基準結果，將其Cogito模型與直接和推理模式中的尺寸等效的開放模型進行了比較。在MMLU，MMLU-PRO，ARC，GSM8K和MATH等一系列基準測試中，以及不同模型尺寸（3B，8B，14B，32B，70B），Cogito模型通常顯示出顯著的性能改進。例如，Cogito 70B型號在標準模式下的MMLU上得分為91.73％，比Llama 3.3 70B的 +6.40％提高了6.40％，在思維模式下，COGITO MMLU的提高了91.00％，而DeepSeek R1 Distill 70b的 +4.40％的增長率為 +4.40％。 LiveBench分數也反映了這些收益。
以下是中型比較的14B模型的基準：
雖然Cogito Deep Cogito承認基準並不能完全捕獲現實世界的實用程序，但他們仍然對模型的實際性能充滿信心。該版本被認為是一個預覽，該公司表示他們“仍處於這種縮放曲線的早期階段”。他們計劃在未來幾周和幾個月內釋放當前尺寸的改進檢查點，並引入更大的MOE型號（109b，400b，671b）。所有未來的模型也將是開源的。
相關文章
Microsoft 365 Copilot ने बढ़ी हुई खोज, छवि और नोटबुक क्षमताओं के साथ नया स्वरूप दिया
Microsoft अपने Microsoft 365 Copilot ऐप पर एक नए टेक को रोल करने के लिए तैयार है, जिसे नियमित रूप से Copilot के उपभोक्ता-अनुकूल विशेषताओं के साथ अधिक निकटता से एकीकृत करते हुए व्यावसायिक आवश्यकताओं को पूरा करने के लिए डिज़ाइन किया गया है। अद्यतन संस्करण एक एआई-संचालित खोज का दावा करता है, एक नया 'क्रिएट' फीचर है जो ओप का हार्नेस करता है
एआई बेंचमार्किंग पर बहस पोकेमोन तक पहुंच गई है
यहां तक कि पोकेमोन की प्यारी दुनिया एआई बेंचमार्क के आसपास के नाटक के लिए प्रतिरक्षा नहीं है। एक्स पर हाल ही में एक वायरल पोस्ट ने काफी चर्चा की, यह दावा करते हुए कि Google के नवीनतम मिथुन मॉडल ने क्लासिक पोकेमॉन वीडियो गेम ट्रिलॉजी में एन्थ्रोपिक के प्रमुख क्लाउड मॉडल को पछाड़ दिया था। पोस्ट के अनुसार, मिथुन
अप्रैल 2025 के लिए शीर्ष 10 एआई विपणन उपकरण
आर्टिफिशियल इंटेलिजेंस (एआई) बाएं और दाएं उद्योगों को हिला रहा है, और विपणन कोई अपवाद नहीं है। छोटे स्टार्टअप से लेकर बड़े निगमों तक, व्यवसाय तेजी से एआई मार्केटिंग टूल्स की ओर रुख कर रहे हैं ताकि वे अपने ब्रांड की दृश्यता को बढ़ावा दे सकें और उनकी वृद्धि को बढ़ा सकें। इन उपकरणों को अपने व्यवसाय में शामिल करना
評論 (20)
0/200
![EricKing]()
EricKing
2025年04月19日 22:12:37
Deep Cogito's LLMs are impressive, but the app could use a better UI. It's a bit clunky to navigate through the different model sizes. Still, the performance is top-notch, especially with the IDA tech. Definitely worth a look if you're into AI and want to see what's possible with large language models! 🤖💡
0
![EricRoberts]()
EricRoberts
2025年04月20日 04:40:17
ディープコギトのLLMは印象的ですが、アプリのUIがもう少し改善されると良いですね。モデルサイズをナビゲートするのが少しぎこちないです。それでも、パフォーマンスは最高で、特にIDAテクノロジーとの組み合わせが素晴らしいです。AIに興味があるなら、大規模言語モデルの可能性を見る価値がありますよ！🤖💡
0
![RichardThomas]()
RichardThomas
2025年04月19日 03:58:42
Os LLMs da Deep Cogito são impressionantes, mas o app poderia ter uma UI melhor. É um pouco desajeitado navegar pelos diferentes tamanhos de modelo. Ainda assim, o desempenho é de primeira linha, especialmente com a tecnologia IDA. Vale a pena dar uma olhada se você gosta de IA e quer ver o que é possível com modelos de linguagem grandes! 🤖💡
0
![WillMitchell]()
WillMitchell
2025年04月18日 20:01:50
Los LLMs de Deep Cogito son impresionantes, pero la app podría tener una mejor UI. Es un poco torpe navegar entre los diferentes tamaños de modelo. Aún así, el rendimiento es de primera, especialmente con la tecnología IDA. Vale la pena echar un vistazo si te interesa la IA y quieres ver lo que es posible con modelos de lenguaje grandes! 🤖💡
0
![GregoryCarter]()
GregoryCarter
2025年04月21日 03:16:16
LLM от Deep Cogito впечатляют, но приложение могло бы иметь лучший UI. Навигация по разным размерам моделей немного неуклюжая. Тем не менее, производительность на высшем уровне, особенно с технологией IDA. Обязательно стоит посмотреть, если вы интересуетесь ИИ и хотите увидеть, что возможно с большими языковыми моделями! 🤖💡
0
![JackHernández]()
JackHernández
2025年04月19日 00:12:00
Deep Cogito's LLMs are a game-changer! The performance boost over similar-sized models is impressive. I've been using the 70 billion parameter model for my research, and it's like having a super-smart assistant. Only downside? It's a bit resource-heavy. Still, totally worth it! 🚀
0
2025年04月18日
JoseAdams
91
總部位於舊金山的公司Deep Cogito通過其最新發布的開放大語模型（LLM）在AI社區中引起了轟動。這些模型的各種尺寸從30億到700億個參數不等，不僅是另一套AI工具。它們是邁向公司所謂的“一般超級智能”的大膽一步。 Deep Cogito聲稱，在大多數標準的基準中，他們的每個模型都優於類似尺寸的領先開放模型，包括來自Llama，DeepSeek和Qwen的模型。這是一個很大的說法，但更令人印象深刻的是，據報導，他們的70B型號超過了最近發布的Llama 4 109b混合物（MOE）型號。
迭代蒸餾和放大（IDA）
Deep Cogito突破的核心是他們稱為迭代蒸餾和放大（IDA）的一種新的訓練方法。該方法被描述為“使用迭代自我改善的一般超級智能的可擴展有效的一致性策略”。它旨在超越傳統LLM培訓的局限性，在該訓練中，該模型的智能經常擊中由更大的“監督”模型或人類策展人定義的天花板。
IDA過程圍繞著兩個重複的兩個關鍵步驟旋轉：
- 放大：此步驟使用更多的計算能力來幫助模型提供更好的解決方案或功能，就像先進的推理技術一樣。
- 蒸餾：在這裡，該模型將這些改進的功能內化，從而完善其參數。
Deep Cogito認為，這會創建一個“積極的反饋循環”，從而使模型的智能可以通過計算資源和IDA過程本身的效率更直接地增長，而不是受監督者的智能限制。
該公司指出了像阿爾法戈這樣的歷史成功，強調“先進的推理和迭代自我完善”至關重要。他們聲稱，艾達將這些要素帶入了LLM培訓。他們還宣傳了IDA的效率，並指出他們的團隊雖然很小，但在大約75天內設法開發了這些模型。與其他方法相比，例如從人類反饋中學習（RLHF）或較大模型的標準蒸餾，據說IDA可提供更好的可擴展性。
作為證明，深Cogito強調了他們的70b模型如何優於Llama 3.3 70b（從405B模型蒸餾）和Llama 4 Scout 109b（從2T參數模型中蒸餾）。
Deep Cogito模型的功能和性能
基於Llama和Qwen檢查點的新的Cogito模型是針對編碼，功能調用和代理應用程序量身定制的。出色的功能是它們的雙重功能：“每個模型都可以直接回答（標準LLM），或者在回答之前自我反射（如推理模型）。”這反映了Claude 3.5之類的模型中看到的功能。但是，Cogito提到他們並沒有專注於很長的推理鏈，優先考慮更快的答案和蒸餾較短的鏈條的效率。
該公司已分享了廣泛的基準結果，將其Cogito模型與直接和推理模式中的尺寸等效的開放模型進行了比較。在MMLU，MMLU-PRO，ARC，GSM8K和MATH等一系列基準測試中，以及不同模型尺寸（3B，8B，14B，32B，70B），Cogito模型通常顯示出顯著的性能改進。例如，Cogito 70B型號在標準模式下的MMLU上得分為91.73％，比Llama 3.3 70B的 +6.40％提高了6.40％，在思維模式下，COGITO MMLU的提高了91.00％，而DeepSeek R1 Distill 70b的 +4.40％的增長率為 +4.40％。 LiveBench分數也反映了這些收益。
以下是中型比較的14B模型的基準：
雖然Cogito Deep Cogito承認基準並不能完全捕獲現實世界的實用程序，但他們仍然對模型的實際性能充滿信心。該版本被認為是一個預覽，該公司表示他們“仍處於這種縮放曲線的早期階段”。他們計劃在未來幾周和幾個月內釋放當前尺寸的改進檢查點，並引入更大的MOE型號（109b，400b，671b）。所有未來的模型也將是開源的。
Microsoft 365 Copilot ने बढ़ी हुई खोज, छवि और नोटबुक क्षमताओं के साथ नया स्वरूप दिया
Microsoft अपने Microsoft 365 Copilot ऐप पर एक नए टेक को रोल करने के लिए तैयार है, जिसे नियमित रूप से Copilot के उपभोक्ता-अनुकूल विशेषताओं के साथ अधिक निकटता से एकीकृत करते हुए व्यावसायिक आवश्यकताओं को पूरा करने के लिए डिज़ाइन किया गया है। अद्यतन संस्करण एक एआई-संचालित खोज का दावा करता है, एक नया 'क्रिएट' फीचर है जो ओप का हार्नेस करता है
एआई बेंचमार्किंग पर बहस पोकेमोन तक पहुंच गई है
यहां तक कि पोकेमोन की प्यारी दुनिया एआई बेंचमार्क के आसपास के नाटक के लिए प्रतिरक्षा नहीं है। एक्स पर हाल ही में एक वायरल पोस्ट ने काफी चर्चा की, यह दावा करते हुए कि Google के नवीनतम मिथुन मॉडल ने क्लासिक पोकेमॉन वीडियो गेम ट्रिलॉजी में एन्थ्रोपिक के प्रमुख क्लाउड मॉडल को पछाड़ दिया था। पोस्ट के अनुसार, मिथुन
अप्रैल 2025 के लिए शीर्ष 10 एआई विपणन उपकरण
आर्टिफिशियल इंटेलिजेंस (एआई) बाएं और दाएं उद्योगों को हिला रहा है, और विपणन कोई अपवाद नहीं है। छोटे स्टार्टअप से लेकर बड़े निगमों तक, व्यवसाय तेजी से एआई मार्केटिंग टूल्स की ओर रुख कर रहे हैं ताकि वे अपने ब्रांड की दृश्यता को बढ़ावा दे सकें और उनकी वृद्धि को बढ़ा सकें। इन उपकरणों को अपने व्यवसाय में शामिल करना
2025年04月19日 22:12:37
Deep Cogito's LLMs are impressive, but the app could use a better UI. It's a bit clunky to navigate through the different model sizes. Still, the performance is top-notch, especially with the IDA tech. Definitely worth a look if you're into AI and want to see what's possible with large language models! 🤖💡
0
2025年04月20日 04:40:17
ディープコギトのLLMは印象的ですが、アプリのUIがもう少し改善されると良いですね。モデルサイズをナビゲートするのが少しぎこちないです。それでも、パフォーマンスは最高で、特にIDAテクノロジーとの組み合わせが素晴らしいです。AIに興味があるなら、大規模言語モデルの可能性を見る価値がありますよ！🤖💡
0
2025年04月19日 03:58:42
Os LLMs da Deep Cogito são impressionantes, mas o app poderia ter uma UI melhor. É um pouco desajeitado navegar pelos diferentes tamanhos de modelo. Ainda assim, o desempenho é de primeira linha, especialmente com a tecnologia IDA. Vale a pena dar uma olhada se você gosta de IA e quer ver o que é possível com modelos de linguagem grandes! 🤖💡
0
2025年04月18日 20:01:50
Los LLMs de Deep Cogito son impresionantes, pero la app podría tener una mejor UI. Es un poco torpe navegar entre los diferentes tamaños de modelo. Aún así, el rendimiento es de primera, especialmente con la tecnología IDA. Vale la pena echar un vistazo si te interesa la IA y quieres ver lo que es posible con modelos de lenguaje grandes! 🤖💡
0
2025年04月21日 03:16:16
LLM от Deep Cogito впечатляют, но приложение могло бы иметь лучший UI. Навигация по разным размерам моделей немного неуклюжая. Тем не менее, производительность на высшем уровне, особенно с технологией IDA. Обязательно стоит посмотреть, если вы интересуетесь ИИ и хотите увидеть, что возможно с большими языковыми моделями! 🤖💡
0
2025年04月19日 00:12:00
Deep Cogito's LLMs are a game-changer! The performance boost over similar-sized models is impressive. I've been using the 70 billion parameter model for my research, and it's like having a super-smart assistant. Only downside? It's a bit resource-heavy. Still, totally worth it! 🚀
0
