家Ali’s Black Tech：0.6Bモデルが17B MoEにアップグレードされ、アクティブパラメータは5％、CPU上で毎秒30トークンの速度で実行中
Ali International Digital Commerceチームは、「Marco-MoE」シリーズの最新モデルである「Marco-Mini-Instruct」を発表し、「小規模でも大きな成果をもたらす」ことを実証しました。 総パラメータ数は173億ですが、そのうちアクティブなパラメータはわずか8.6億（約5％）であり、標準的なCPUでもスムーズに動作する卓越した推論速度を実現しています。
超軽量：CPUパフォーマンスに最適化
公式データによると、8ビット量子化と4つのDDR4 2400メモリモジュールを使用した場合、このモデルは1秒あたり約30トークンの推論速度を達成します。この効率性により、Mixture-of-Experts（MoE）アーキテクチャが主流として利用しやすくなり、ローカル展開の障壁が大幅に低減されます。
主要な革新：アップサイクリング技術が可能性を変革
Marco-Mini-Instructの際立った特徴は、そのサイズや速度ではなく、そのユニークな生成方法にあります。このモデルは、ゼロから学習されたものではなく、アップサイクリング技術を用いてQwen3-0.6B-Baseモデルから進化させたものです。
このプロセスでは、密な小型モデルの構成要素を分割または複製して複数のエキスパートに分け、ルーティング機構を導入します。また、きめ細かなサブ行列の分割と「ドロップ・アップサイクリング」戦略を統合しています。これは、トレーニング中に特定のエキスパートやルーティングパスをランダムに破棄することで、正則化を追加し、堅牢性を向上させるものです。 このアプローチにより、純粋なDenseモデルをMoEアーキテクチャへと成功裏にアップグレードし、業界にMoEトレーニングのための新しく、費用対効果が高く、効率的な道筋を提供しています。
コンテキストの長さとトレーニング設定
モデル構成では max_position_embeddings を 32K に拡張していますが、教師あり微調整（SFT）フェーズでは 8192 トークンのコンテキストが使用されます。その結果、デフォルトのコンテキスト長は、ほとんどの実用的なアプリケーションシナリオに最適です。
トレーニング後の画期的な成果：カスケード型オンポリシー蒸留
トレーニング後のフェーズも同様に印象的です。まずSFTによるプレヒーティングから始まり、続いてカスケード型オンポリシー蒸留戦略が実施されます。 当初、ディスティレーションでは Qwen3-30B-A3B-Instruct をティーチャーモデルとして使用し、その後、より高性能な Qwen3-Next-80B-A3B-Instruct に切り替えます。 蒸留データは、指示の遵守、複雑な推論、セキュリティ対応、数学的能力に及び、モデルが効率を維持しつつ、全体的な知能を大幅に向上させることを保証します。
ベンチマーク結果：0.86Bのアクティブパラメータが4Bのdenseモデルを上回る
最終的なMarco-Mini-Instructは、ほとんどの主要なベンチマークにおいて、Qwen3-4Bなどの多くの高パラメータモデルを上回る性能を発揮します。わずか0.86Bのアクティブパラメータで、「小型でありながら強力」なパフォーマンスを実現するMoEアーキテクチャの膨大な可能性を完全に実証しています。
業界への影響：新たなオープンソースMoEトレーニングパラダイム
AIbaseは、この成果の最大の価値は、開発者に新たな機会を開くことにあると考えています。もはや大規模なMoEモデルをゼロから学習させる必要はなく、代わりに、チームは適切な小型のDenseモデルを選択し、論文で概説されているアップサイクリングおよびドロップ・アップサイクリングのプロセスを厳密に再現すればよいのです。 トレーニング全体のコストは管理可能な範囲に収まります。SFTフェーズには64台のGPUで24時間、蒸留フェーズには64台のGPUで110時間を要するため、中小規模のチームがMoEを実験するためのハードルが大幅に下がります。
アリババによる今回の「改良」は、モデルの効率性における飛躍的な進歩が必ずしもパラメータの積み重ねに依存するわけではなく、革新的な学習パラダイムも質的な飛躍をもたらし得ることを改めて証明しています。 Marco-Mini-Instructのリリースは、エッジデバイスや個人開発者のシナリオにおけるMoE技術の採用を間違いなく加速させ、業界全体が注目すべき重要な進展となるだろう。
関連記事
DeepMindのCEOハサビス氏：1日6時間睡眠し、通常午前1時頃に活力を感じます。
フォーチュンは最近、Google DeepMindのCEOであるデミス・ハサビスへのインタビューを掲載し、彼の休息と生産性に対する非伝統的なアプローチを明らかにした。ハサビスは、睡眠時間が非常に短いことを明かし、覚醒時間を2つの明確な作業ブロックに構造化していると語った。彼の睡眠習慣について、ハサビスは「6時間の睡眠を目標としているが、私の習慣は典型的ではない。一日中効果的に機能できる」と述べた。彼は、6時間未満の睡眠は脳の健康に悪影響を及ぼすことを強調した。2010年にDeepMindを共
OpenAIとAnthropic、収益の伸び悩みにもかかわらず市場シェア争いを繰り広げる
OpenAIが収益目標を達成できなかったとする最近の報道を受け、今週火曜日にハイテク株に売り圧力が生じたにもかかわらず、AI研究機関への民間投資家は依然として堅調だ。経験豊富な出資者たちは、メディアによる否定的な報道にもかかわらず、投資額を減らすつもりはないことを明らかにしている。アナリストらは、現在のAI競争はまだ初期段階にあると見ており、「勝者総取り」という結末はあり得ないと見ている。高いコン
カリフォルニア州の自動運転車規制：違反切符、ジオフェンス、そして100万マイルという新たな時代
Guident社は南フロリダでAuveTechのシャトルを運行しており、同社の遠隔監視技術を活用して、ウェストパームビーチでの4マイルのルートとボカラトンでの1マイルのルートを管理している。 | 提供：Guidentカリフォルニア州は、自動運転車の規制環境を再定義しつつあり、テクノロジー業界の「迅速に動き、失敗を恐れない」という考え方から、厳格な説明責任と厳しい走行距離要件へと移行している。Gui
関連特集おすすめ
チャットボット
言語練習、面接対策、そして日常の流暢さのための最高のAIロールプレイチャットアプリ
2026年最新版・最高評価のAIロールプレイチャットアプリ｜語学練習、面接対策、日常会話の流暢さ向上に！XIX.AIは、無料と有料の比較、実世界でのテスト、毎週更新されるランキングを提供する革新的なコレクションを厳選しています。これらの必須ツールは、ライティングスキルの向上、流暢さの課題克服、そしてあらゆる日常シナリオにおけるコミュニケーション効率の改善をサポートします。今すぐ探索して、あなたの言語成長に最適なツールを見つけましょう！
10 ツール
xix.ai
作曲
リミックス制作、サンプリングの準備、カラオケマスター作成のためのAIステム分離ツール
2026年最新・最高評価のAIステム分離ツール。リミックス制作、サンプリング準備、カラオケマスター向けに厳選されました。これらの強力で画期的なツールは、実環境でのテストを経て、正確なオーディオ分離を実現し、生産性を大幅に向上させます。 XIX.AIでは、ニーズに合った「必試」のソリューションを見つけるお手伝いをするため、無料版と有料版の比較ガイドを毎週更新して提供しています。今すぐチェックして、AIの力を最大限に活用しましょう。
8 ツール
xix.ai
データ分析
収益ダッシュボード、ファネル分析、および製品指標向けのAI SQLコピロット
2026年最新かつ最も優れたAI SQLコピロットが最高評価でランクイン！XIX.AIは、毎週更新される実際の環境でのテストに対応した、強力で革新的なツール群を厳選しています。これらの必見ツールを使えば、正確な収益ダッシュボードの作成や販売プロセスの分析、製品指標の迅速な追跡が可能となり、生産性を大幅に向上させることができます。今すぐチェックして、データに基づいた意思決定に最適なツールを見つけましょう！238文字
9 ツール
xix.ai
作曲
曲のドラフト作成に最適なAIメロディ作成ツール
2026年最新版 高評価のAIメロディ作成ツールで曲のドラフト作成！XIX.AIは、厳格な実世界テストを経て最高の作成体験を提供する、革新的な強力なコレクションを厳選しました。詳細な無料版と有料版の比較、正確なランキング、そして素晴らしい曲のドラフトを楽に作成し、創造的な生産性を大幅に向上させるためにぜひ試すべきオプションが見つかります。今すぐ探索して、あなたに最適なツールを見つけましょう！
8 ツール
xix.ai
チャットボット
面接練習用のベストなAI会話トレーニングツール
2026年最新版・最高評価のAI会話トレーニングツールが、面接練習に最適です。XIX.AIにてご提供しています！この厳選コレクションには、現実世界での厳格なテストを経て正確なフィードバックを提供する強力なツールが含まれています。無料版と有料版の比較や詳細なランキングをご覧いただき、自信とスキルを高めるための必須オプションをお選びください。今すぐ探索して、面接成功に最適なツールを見つけましょう！
12 ツール
xix.ai
デザインとアート
クリエイティブな実験に最適なAIスタイル転送ツール
2026年版 クリエイティブな実験に最適な、最新・最高評価のAIスタイル転送ツール！XIX.AIは、実地テストと厳格なランキングを通じて卓越した結果をもたらす、強力で画期的な「必試」ツールを厳選しました。これらのトップソリューションは、コンテンツ制作を加速させ、無限の創造的可能性を切り拓くことで、クリエイターの生産性を大幅に向上させます。 今すぐチェックして、あなたにぴったりのツールを見つけ、今日から創作を始めましょう！
9 ツール
xix.ai
コメント (0)
0/500
Ali International Digital Commerceチームは、「Marco-MoE」シリーズの最新モデルである「Marco-Mini-Instruct」を発表し、「小規模でも大きな成果をもたらす」ことを実証しました。 総パラメータ数は173億ですが、そのうちアクティブなパラメータはわずか8.6億（約5％）であり、標準的なCPUでもスムーズに動作する卓越した推論速度を実現しています。
超軽量：CPUパフォーマンスに最適化
公式データによると、8ビット量子化と4つのDDR4 2400メモリモジュールを使用した場合、このモデルは1秒あたり約30トークンの推論速度を達成します。この効率性により、Mixture-of-Experts（MoE）アーキテクチャが主流として利用しやすくなり、ローカル展開の障壁が大幅に低減されます。
主要な革新：アップサイクリング技術が可能性を変革
Marco-Mini-Instructの際立った特徴は、そのサイズや速度ではなく、そのユニークな生成方法にあります。このモデルは、ゼロから学習されたものではなく、アップサイクリング技術を用いてQwen3-0.6B-Baseモデルから進化させたものです。
このプロセスでは、密な小型モデルの構成要素を分割または複製して複数のエキスパートに分け、ルーティング機構を導入します。また、きめ細かなサブ行列の分割と「ドロップ・アップサイクリング」戦略を統合しています。これは、トレーニング中に特定のエキスパートやルーティングパスをランダムに破棄することで、正則化を追加し、堅牢性を向上させるものです。 このアプローチにより、純粋なDenseモデルをMoEアーキテクチャへと成功裏にアップグレードし、業界にMoEトレーニングのための新しく、費用対効果が高く、効率的な道筋を提供しています。
コンテキストの長さとトレーニング設定
モデル構成では max_position_embeddings を 32K に拡張していますが、教師あり微調整（SFT）フェーズでは 8192 トークンのコンテキストが使用されます。その結果、デフォルトのコンテキスト長は、ほとんどの実用的なアプリケーションシナリオに最適です。
トレーニング後の画期的な成果：カスケード型オンポリシー蒸留
トレーニング後のフェーズも同様に印象的です。まずSFTによるプレヒーティングから始まり、続いてカスケード型オンポリシー蒸留戦略が実施されます。 当初、ディスティレーションでは Qwen3-30B-A3B-Instruct をティーチャーモデルとして使用し、その後、より高性能な Qwen3-Next-80B-A3B-Instruct に切り替えます。 蒸留データは、指示の遵守、複雑な推論、セキュリティ対応、数学的能力に及び、モデルが効率を維持しつつ、全体的な知能を大幅に向上させることを保証します。
ベンチマーク結果：0.86Bのアクティブパラメータが4Bのdenseモデルを上回る
最終的なMarco-Mini-Instructは、ほとんどの主要なベンチマークにおいて、Qwen3-4Bなどの多くの高パラメータモデルを上回る性能を発揮します。わずか0.86Bのアクティブパラメータで、「小型でありながら強力」なパフォーマンスを実現するMoEアーキテクチャの膨大な可能性を完全に実証しています。
業界への影響：新たなオープンソースMoEトレーニングパラダイム
AIbaseは、この成果の最大の価値は、開発者に新たな機会を開くことにあると考えています。もはや大規模なMoEモデルをゼロから学習させる必要はなく、代わりに、チームは適切な小型のDenseモデルを選択し、論文で概説されているアップサイクリングおよびドロップ・アップサイクリングのプロセスを厳密に再現すればよいのです。 トレーニング全体のコストは管理可能な範囲に収まります。SFTフェーズには64台のGPUで24時間、蒸留フェーズには64台のGPUで110時間を要するため、中小規模のチームがMoEを実験するためのハードルが大幅に下がります。
アリババによる今回の「改良」は、モデルの効率性における飛躍的な進歩が必ずしもパラメータの積み重ねに依存するわけではなく、革新的な学習パラダイムも質的な飛躍をもたらし得ることを改めて証明しています。 Marco-Mini-Instructのリリースは、エッジデバイスや個人開発者のシナリオにおけるMoE技術の採用を間違いなく加速させ、業界全体が注目すべき重要な進展となるだろう。
DeepMindのCEOハサビス氏：1日6時間睡眠し、通常午前1時頃に活力を感じます。
フォーチュンは最近、Google DeepMindのCEOであるデミス・ハサビスへのインタビューを掲載し、彼の休息と生産性に対する非伝統的なアプローチを明らかにした。ハサビスは、睡眠時間が非常に短いことを明かし、覚醒時間を2つの明確な作業ブロックに構造化していると語った。彼の睡眠習慣について、ハサビスは「6時間の睡眠を目標としているが、私の習慣は典型的ではない。一日中効果的に機能できる」と述べた。彼は、6時間未満の睡眠は脳の健康に悪影響を及ぼすことを強調した。2010年にDeepMindを共
OpenAIとAnthropic、収益の伸び悩みにもかかわらず市場シェア争いを繰り広げる
OpenAIが収益目標を達成できなかったとする最近の報道を受け、今週火曜日にハイテク株に売り圧力が生じたにもかかわらず、AI研究機関への民間投資家は依然として堅調だ。経験豊富な出資者たちは、メディアによる否定的な報道にもかかわらず、投資額を減らすつもりはないことを明らかにしている。アナリストらは、現在のAI競争はまだ初期段階にあると見ており、「勝者総取り」という結末はあり得ないと見ている。高いコン
カリフォルニア州の自動運転車規制：違反切符、ジオフェンス、そして100万マイルという新たな時代
Guident社は南フロリダでAuveTechのシャトルを運行しており、同社の遠隔監視技術を活用して、ウェストパームビーチでの4マイルのルートとボカラトンでの1マイルのルートを管理している。 | 提供：Guidentカリフォルニア州は、自動運転車の規制環境を再定義しつつあり、テクノロジー業界の「迅速に動き、失敗を恐れない」という考え方から、厳格な説明責任と厳しい走行距離要件へと移行している。Gui
2026年最新版・最高評価のAIロールプレイチャットアプリ｜語学練習、面接対策、日常会話の流暢さ向上に！XIX.AIは、無料と有料の比較、実世界でのテスト、毎週更新されるランキングを提供する革新的なコレクションを厳選しています。これらの必須ツールは、ライティングスキルの向上、流暢さの課題克服、そしてあらゆる日常シナリオにおけるコミュニケーション効率の改善をサポートします。今すぐ探索して、あなたの言語成長に最適なツールを見つけましょう！
10 ツール
xix.ai
2026年最新・最高評価のAIステム分離ツール。リミックス制作、サンプリング準備、カラオケマスター向けに厳選されました。これらの強力で画期的なツールは、実環境でのテストを経て、正確なオーディオ分離を実現し、生産性を大幅に向上させます。 XIX.AIでは、ニーズに合った「必試」のソリューションを見つけるお手伝いをするため、無料版と有料版の比較ガイドを毎週更新して提供しています。今すぐチェックして、AIの力を最大限に活用しましょう。
8 ツール
xix.ai
2026年最新かつ最も優れたAI SQLコピロットが最高評価でランクイン！XIX.AIは、毎週更新される実際の環境でのテストに対応した、強力で革新的なツール群を厳選しています。これらの必見ツールを使えば、正確な収益ダッシュボードの作成や販売プロセスの分析、製品指標の迅速な追跡が可能となり、生産性を大幅に向上させることができます。今すぐチェックして、データに基づいた意思決定に最適なツールを見つけましょう！238文字
9 ツール
xix.ai
2026年最新版 高評価のAIメロディ作成ツールで曲のドラフト作成！XIX.AIは、厳格な実世界テストを経て最高の作成体験を提供する、革新的な強力なコレクションを厳選しました。詳細な無料版と有料版の比較、正確なランキング、そして素晴らしい曲のドラフトを楽に作成し、創造的な生産性を大幅に向上させるためにぜひ試すべきオプションが見つかります。今すぐ探索して、あなたに最適なツールを見つけましょう！
8 ツール
xix.ai
2026年最新版・最高評価のAI会話トレーニングツールが、面接練習に最適です。XIX.AIにてご提供しています！この厳選コレクションには、現実世界での厳格なテストを経て正確なフィードバックを提供する強力なツールが含まれています。無料版と有料版の比較や詳細なランキングをご覧いただき、自信とスキルを高めるための必須オプションをお選びください。今すぐ探索して、面接成功に最適なツールを見つけましょう！
12 ツール
xix.ai
2026年版 クリエイティブな実験に最適な、最新・最高評価のAIスタイル転送ツール！XIX.AIは、実地テストと厳格なランキングを通じて卓越した結果をもたらす、強力で画期的な「必試」ツールを厳選しました。これらのトップソリューションは、コンテンツ制作を加速させ、無限の創造的可能性を切り拓くことで、クリエイターの生産性を大幅に向上させます。 今すぐチェックして、あなたにぴったりのツールを見つけ、今日から創作を始めましょう！
9 ツール
xix.ai
