Deep CogitoのLLMSは、IDAを使用して同様のサイズのモデルよりも優れています
ディープ・コジトは、サンフランシスコに拠点を置く企業で、最新のオープン大規模言語モデル（LLMs）のリリースによりAIコミュニティで注目を集めています。これらのモデルは、30億から700億のパラメータに至るさまざまなサイズがあり、単なるAIツールのセットではありません。企業が「一般超知能」と呼ぶものに向けた大胆な一歩です。ディープ・コジトは、彼らの各モデルが、LLAMA、DeepSeek、Qwenなどの同規模の主要なオープンモデルを、ほとんどの標準ベンチマークで上回ると主張しています。これは大胆な主張ですが、さらに印象的なのは、彼らの700億パラメータモデルが、最近リリースされたLlama 4 109B Mixture-of-Experts（MoE）モデルを上回ったと報告されていることです。
反復蒸留と増幅（IDA）
ディープ・コジトの画期的な成果の中心には、彼らが反復蒸留と増幅（IDA）と呼ぶ新しいトレーニングアプローチがあります。この方法は、「反復的自己改善を用いた一般超知能のためのスケーラブルで効率的な整合戦略」と説明されています。従来のLLMトレーニングの限界を打破する設計で、モデルの知能がより大きな「監督者」モデルや人間のキュレーターによって定義された上限に達してしまう問題を克服します。
IDAプロセスは、繰り返し行われる2つの主要なステップを中心に展開します：
- 増幅：このステップでは、より多くの計算能力を使用して、モデルがより優れた解決策や能力を生み出すのを助け、高度な推論技術に似ています。
- 蒸留：ここでは、モデルがこれらの改善された能力を内面化し、パラメータを洗練させます。
ディープ・コジトは、これにより「正のフィードバックループ」が作成され、モデルの知能が監督者の知能に制限されることなく、計算リソースとIDAプロセスの効率によってより直接的に成長すると主張しています。
同社は、AlphaGoのような歴史的な成功例を挙げ、「高度な推論と反復的自己改善」が重要だったと強調しています。IDAは、これらの要素をLLMトレーニングにもたらすと彼らは主張します。また、IDAの効率性も強調し、小規模なチームでありながら、約75日でこれらのモデルを開発できたと述べています。人間のフィードバックからの強化学習（RLHF）や、より大きなモデルからの標準的な蒸留といった他の方法と比較して、IDAはより優れたスケーラビリティを提供するとされています。
証拠として、ディープ・コジトは、彼らの700億モデルが、Llama 3.3 70B（4050億モデルから蒸留）とLlama 4 Scout 109B（2兆パラメータモデルから蒸留）の両方を上回っていることを強調しています。
ディープ・コジトモデルの能力と性能
新しいコジトモデルは、LlamaとQwenのチェックポイントを基に構築されており、コーディング、関数呼び出し、エージェント型アプリケーション向けに調整されています。際立った特徴は、2つの機能性です：「各モデルは直接回答（標準LLM）でき、または回答前に自己反省（推論モデルのように）できます。」これは、Claude 3.5のようなモデルで見られる能力を反映しています。ただし、ディープ・コジトは、非常に長い推論チェーンには焦点を当てておらず、より速い回答と短いチェーンの蒸留の効率を優先していると述べています。
同社は、直接モードと推論モードの両方で、サイズ相当の最先端のオープンモデルに対するコジトモデルの広範なベンチマーク結果を共有しています。MMLU、MMLU-Pro、ARC、GSM8K、MATHなどのさまざまなベンチマークや、異なるモデルサイズ（3B、8B、14B、32B、70B）で、コジトモデルは一般的に大幅な性能向上を示しています。たとえば、コジト700億モデルは、標準モードでMMLUで91.73%を記録し、Llama 3.3 70Bに対して+6.40%の改善、思考モードでは91.00%で、Deepseek R1 Distill 70Bに対して+4.40%の向上を示しています。Livebenchのスコアもこれらの向上を反映しています。
14Bモデルのベンチマークを中規模比較として以下に示します：
ディープ・コジトは、ベンチマークが実際の有用性を完全に捉えるものではないと認めつつも、モデルの実際の性能に自信を持っています。このリリースはプレビューとされており、同社は「このスケーリングカーブの初期段階にある」と述べています。彼らは現在のサイズの改善されたチェックポイントをリリースし、今後数週間から数か月でより大きなMoEモデル（109B、400B、671B）を導入する予定です。すべての将来のモデルもオープンソースになる予定です。
関連記事
トランプ大統領、中国との競争において規制よりもAIの成長を優先
トランプ政権は水曜日に画期的なAI行動計画を発表し、バイデン政権のリスク回避的なAI政策からの決定的な脱却を示した。この野心的な青写真は、積極的なインフラ整備、規制の大幅撤廃、国家安全保障対策の強化、人工知能における中国との戦略的競争を優先している。この政策転換は、特にエネルギー使用や環境規制に関して、経済や社会に広範な影響を及ぼす可能性がある。同政権は、連邦所有地を含むデータセンター建設を拡大す
YouTube、AI動画ツールVeo 3をShortsプラットフォームに直接統合
YouTube ShortsにVeo 3 AI動画モデルが今夏登場YouTubeのニール・モーハンCEOは、カンヌライオンズの基調講演で、同プラットフォームの最先端のAI動画生成技術Veo 3が今夏後半にYouTube Shortsでデビューすることを明らかにした。これは、Veo 3がAIによるコンテンツ制作に革命をもたらすとするアリソン・ジョンソンのコメントに続くものである。現在、Shortsの
Google Cloud が科学研究と発見のブレークスルーを促進
デジタル革命は、前例のない計算能力によって科学的方法論を変革している。最先端のテクノロジーは現在、理論的なフレームワークと実験室での実験の両方を補強し、高度なシミュレーションとビッグデータ分析によって分野横断的なブレークスルーを推進しています。基礎研究、スケーラブルなクラウドアーキテクチャ、人工知能開発に戦略的に投資することで、私たちは科学の進歩を加速させるエコシステムを確立しました。世界トップク
コメント (27)
0/200
![RoyWhite]()
RoyWhite
2025年8月13日 18:00:59 JST
Deep Cogito's LLMs sound like a game-changer! Outperforming models of similar size with IDA is no small feat. Curious to see how these stack up in real-world tasks. 🚀
0
![PaulThomas]()
PaulThomas
2025年8月7日 4:01:00 JST
Super cool to see Deep Cogito pushing the boundaries with their LLMs! 😎 Those parameter sizes are wild—wonder how they stack up in real-world tasks?
0
![GregoryCarter]()
GregoryCarter
2025年4月21日 12:16:16 JST
LLM от Deep Cogito впечатляют, но приложение могло бы иметь лучший UI. Навигация по разным размерам моделей немного неуклюжая. Тем не менее, производительность на высшем уровне, особенно с технологией IDA. Обязательно стоит посмотреть, если вы интересуетесь ИИ и хотите увидеть, что возможно с большими языковыми моделями! 🤖💡
0
![EricRoberts]()
EricRoberts
2025年4月20日 13:40:17 JST
ディープコギトのLLMは印象的ですが、アプリのUIがもう少し改善されると良いですね。モデルサイズをナビゲートするのが少しぎこちないです。それでも、パフォーマンスは最高で、特にIDAテクノロジーとの組み合わせが素晴らしいです。AIに興味があるなら、大規模言語モデルの可能性を見る価値がありますよ！🤖💡
0
![WillieAnderson]()
WillieAnderson
2025年4月20日 13:09:03 JST
딥 코기토의 LLM은 정말 혁신적이에요! 비슷한 크기의 모델과 비교해도 성능 향상이 놀랍습니다. IDA 접근법이 큰 차이를 만듭니다. 유일한 단점은 학습 곡선인데, 한번 익숙해지면 문제없어요! 🚀
0
![EricKing]()
EricKing
2025年4月20日 7:12:37 JST
Deep Cogito's LLMs are impressive, but the app could use a better UI. It's a bit clunky to navigate through the different model sizes. Still, the performance is top-notch, especially with the IDA tech. Definitely worth a look if you're into AI and want to see what's possible with large language models! 🤖💡
0
ディープ・コジトは、サンフランシスコに拠点を置く企業で、最新のオープン大規模言語モデル（LLMs）のリリースによりAIコミュニティで注目を集めています。これらのモデルは、30億から700億のパラメータに至るさまざまなサイズがあり、単なるAIツールのセットではありません。企業が「一般超知能」と呼ぶものに向けた大胆な一歩です。ディープ・コジトは、彼らの各モデルが、LLAMA、DeepSeek、Qwenなどの同規模の主要なオープンモデルを、ほとんどの標準ベンチマークで上回ると主張しています。これは大胆な主張ですが、さらに印象的なのは、彼らの700億パラメータモデルが、最近リリースされたLlama 4 109B Mixture-of-Experts（MoE）モデルを上回ったと報告されていることです。
反復蒸留と増幅（IDA）
ディープ・コジトの画期的な成果の中心には、彼らが反復蒸留と増幅（IDA）と呼ぶ新しいトレーニングアプローチがあります。この方法は、「反復的自己改善を用いた一般超知能のためのスケーラブルで効率的な整合戦略」と説明されています。従来のLLMトレーニングの限界を打破する設計で、モデルの知能がより大きな「監督者」モデルや人間のキュレーターによって定義された上限に達してしまう問題を克服します。
IDAプロセスは、繰り返し行われる2つの主要なステップを中心に展開します：
- 増幅：このステップでは、より多くの計算能力を使用して、モデルがより優れた解決策や能力を生み出すのを助け、高度な推論技術に似ています。
- 蒸留：ここでは、モデルがこれらの改善された能力を内面化し、パラメータを洗練させます。
ディープ・コジトは、これにより「正のフィードバックループ」が作成され、モデルの知能が監督者の知能に制限されることなく、計算リソースとIDAプロセスの効率によってより直接的に成長すると主張しています。
同社は、AlphaGoのような歴史的な成功例を挙げ、「高度な推論と反復的自己改善」が重要だったと強調しています。IDAは、これらの要素をLLMトレーニングにもたらすと彼らは主張します。また、IDAの効率性も強調し、小規模なチームでありながら、約75日でこれらのモデルを開発できたと述べています。人間のフィードバックからの強化学習（RLHF）や、より大きなモデルからの標準的な蒸留といった他の方法と比較して、IDAはより優れたスケーラビリティを提供するとされています。
証拠として、ディープ・コジトは、彼らの700億モデルが、Llama 3.3 70B（4050億モデルから蒸留）とLlama 4 Scout 109B（2兆パラメータモデルから蒸留）の両方を上回っていることを強調しています。
ディープ・コジトモデルの能力と性能
新しいコジトモデルは、LlamaとQwenのチェックポイントを基に構築されており、コーディング、関数呼び出し、エージェント型アプリケーション向けに調整されています。際立った特徴は、2つの機能性です：「各モデルは直接回答（標準LLM）でき、または回答前に自己反省（推論モデルのように）できます。」これは、Claude 3.5のようなモデルで見られる能力を反映しています。ただし、ディープ・コジトは、非常に長い推論チェーンには焦点を当てておらず、より速い回答と短いチェーンの蒸留の効率を優先していると述べています。
同社は、直接モードと推論モードの両方で、サイズ相当の最先端のオープンモデルに対するコジトモデルの広範なベンチマーク結果を共有しています。MMLU、MMLU-Pro、ARC、GSM8K、MATHなどのさまざまなベンチマークや、異なるモデルサイズ（3B、8B、14B、32B、70B）で、コジトモデルは一般的に大幅な性能向上を示しています。たとえば、コジト700億モデルは、標準モードでMMLUで91.73%を記録し、Llama 3.3 70Bに対して+6.40%の改善、思考モードでは91.00%で、Deepseek R1 Distill 70Bに対して+4.40%の向上を示しています。Livebenchのスコアもこれらの向上を反映しています。
14Bモデルのベンチマークを中規模比較として以下に示します：
ディープ・コジトは、ベンチマークが実際の有用性を完全に捉えるものではないと認めつつも、モデルの実際の性能に自信を持っています。このリリースはプレビューとされており、同社は「このスケーリングカーブの初期段階にある」と述べています。彼らは現在のサイズの改善されたチェックポイントをリリースし、今後数週間から数か月でより大きなMoEモデル（109B、400B、671B）を導入する予定です。すべての将来のモデルもオープンソースになる予定です。
トランプ大統領、中国との競争において規制よりもAIの成長を優先
トランプ政権は水曜日に画期的なAI行動計画を発表し、バイデン政権のリスク回避的なAI政策からの決定的な脱却を示した。この野心的な青写真は、積極的なインフラ整備、規制の大幅撤廃、国家安全保障対策の強化、人工知能における中国との戦略的競争を優先している。この政策転換は、特にエネルギー使用や環境規制に関して、経済や社会に広範な影響を及ぼす可能性がある。同政権は、連邦所有地を含むデータセンター建設を拡大す
YouTube、AI動画ツールVeo 3をShortsプラットフォームに直接統合
YouTube ShortsにVeo 3 AI動画モデルが今夏登場YouTubeのニール・モーハンCEOは、カンヌライオンズの基調講演で、同プラットフォームの最先端のAI動画生成技術Veo 3が今夏後半にYouTube Shortsでデビューすることを明らかにした。これは、Veo 3がAIによるコンテンツ制作に革命をもたらすとするアリソン・ジョンソンのコメントに続くものである。現在、Shortsの
Google Cloud が科学研究と発見のブレークスルーを促進
デジタル革命は、前例のない計算能力によって科学的方法論を変革している。最先端のテクノロジーは現在、理論的なフレームワークと実験室での実験の両方を補強し、高度なシミュレーションとビッグデータ分析によって分野横断的なブレークスルーを推進しています。基礎研究、スケーラブルなクラウドアーキテクチャ、人工知能開発に戦略的に投資することで、私たちは科学の進歩を加速させるエコシステムを確立しました。世界トップク
2025年8月13日 18:00:59 JST
Deep Cogito's LLMs sound like a game-changer! Outperforming models of similar size with IDA is no small feat. Curious to see how these stack up in real-world tasks. 🚀
0
2025年8月7日 4:01:00 JST
Super cool to see Deep Cogito pushing the boundaries with their LLMs! 😎 Those parameter sizes are wild—wonder how they stack up in real-world tasks?
0
2025年4月21日 12:16:16 JST
LLM от Deep Cogito впечатляют, но приложение могло бы иметь лучший UI. Навигация по разным размерам моделей немного неуклюжая. Тем не менее, производительность на высшем уровне, особенно с технологией IDA. Обязательно стоит посмотреть, если вы интересуетесь ИИ и хотите увидеть, что возможно с большими языковыми моделями! 🤖💡
0
2025年4月20日 13:40:17 JST
ディープコギトのLLMは印象的ですが、アプリのUIがもう少し改善されると良いですね。モデルサイズをナビゲートするのが少しぎこちないです。それでも、パフォーマンスは最高で、特にIDAテクノロジーとの組み合わせが素晴らしいです。AIに興味があるなら、大規模言語モデルの可能性を見る価値がありますよ！🤖💡
0
2025年4月20日 13:09:03 JST
딥 코기토의 LLM은 정말 혁신적이에요! 비슷한 크기의 모델과 비교해도 성능 향상이 놀랍습니다. IDA 접근법이 큰 차이를 만듭니다. 유일한 단점은 학습 곡선인데, 한번 익숙해지면 문제없어요! 🚀
0
2025年4月20日 7:12:37 JST
Deep Cogito's LLMs are impressive, but the app could use a better UI. It's a bit clunky to navigate through the different model sizes. Still, the performance is top-notch, especially with the IDA tech. Definitely worth a look if you're into AI and want to see what's possible with large language models! 🤖💡
0
