オプション
ニュース
美団のオープンソース音声モデルが、音声クローン技術の新たな基準を打ち立てる

美団のオープンソース音声モデルが、音声クローン技術の新たな基準を打ち立てる

2026年4月6日
308

音声生成の分野では、多段階カスケードアーキテクチャからエンドツーエンドモデルへの根本的な転換が進んでいます。 TTSシステムで使用される従来の「メルスペクトログラム」中間表現に内在する情報損失や誤差の蓄積を克服するため、Meituan LongCatチームはLongCat-AudioDiT(パラメータ数10億および35億のバージョンが利用可能)を正式にリリースし、オープンソース化した。このモデルは、波形に対する直接的な潜在空間モデリングを行うことで、ゼロショット音声クローン生成における従来の性能限界を突破することに成功した。

QQ20260402-101320.jpg

コアアーキテクチャ:メルスペクトログラムの枠を超越

LongCat-AudioDiTは、「音響特徴予測+ニューラルボコーダー」という従来の多段階パイプラインを排除し、代わりにWav-VAE(波形変分オートエンコーダー)DiT(拡散トランスフォーマー)を基盤とした、合理化された最小限のアーキテクチャを確立しています。

効率的なWav-VAE:完全畳み込み設計を採用し、24kHzの波形を2000倍圧縮して11.7Hzのフレームレートに変換します。非パラメトリックなショートカット分岐と多目的敵対的学習を通じて、再構成された波形が正確な時周波数構造を維持しつつ、極めて自然な聴感品質を実現します。

意味強化型DiT:本モデルは、UMT5テキストエンコーダからの元の単語埋め込みと、その最上位隠れ状態を革新的に融合させます。これにより、高次元の意味表現で失われがちな音声的詳細を補完し、生成音声の明瞭度を大幅に向上させます。

推論の最適化:音声ドリフトの精密な補正

生成品質をさらに向上させるため、チームは2つの重要な技術的改良を実施しました:

デュアル制約メカニズム:この技術は、フローマッチングTTSにおいて常に見られる「学習と推論の不一致」という問題を特定し、修正します。推論中にプロンプト領域の潜在変数を強制的にリセットすることで、話者の声のドリフトや不安定性の問題を完全に解決します。

適応型投影ガイダンス(APG):APGは従来の分類器フリーガイダンス(CFG)に代わるものです。ガイダンス信号内の有益な成分を正確に抽出すると同時に、音声品質の低下を招く成分を抑制することで、スペクトル上の「過飽和」を引き起こすことなく、音声の自然さを大幅に向上させます。

性能:SOTAレベルのクローン精度

Seedデータセットでのベンチマークテストにおいて、LongCat-AudioDiTは圧倒的な性能を発揮しました:

類似度(SIM):35億パラメータモデルは、Seed-ZHテストセットで0.818、難易度の高いSeed-Hard文セットで0.797のスコアを達成し、Seed-TTS、CosyVoice3.5、MiniMax-Speechといった著名なモデルを上回りました。

精度:主要な評価指標において業界トップクラスの性能を示しており、英語のWERは1.50%、中国語の難文におけるCERは6.04%を記録した。

特筆すべきは、LongCat-AudioDiTが、前処理済みのASR転写データに対して単一ステージのトレーニングのみを行いながら、多段階トレーニングを施したモデルと比較して優れた結果を達成している点です。関連する研究論文、ソースコード、およびモデル重みは、現在GitHubおよびHuggingFaceで完全にオープンソース化され、公開されています。

プロジェクトリンク:

GitHub: https://github.com/meituan-longcat/LongCat-AudioDiT

HuggingFace: https://huggingface.co/meituan-longcat/LongCat-AudioDiT

関連記事
内部詳細が明かされた次世代ジェミニ:計算リソースの逼迫、開発チーム間で優先順位とリソース配分を巡り意見が割れた 内部詳細が明かされた次世代ジェミニ:計算リソースの逼迫、開発チーム間で優先順位とリソース配分を巡り意見が割れた 報告によると、Googleの次世代Geminiモデルの発売は延期された。開発の優先順位とリソース配分をめぐる社内での意見の相違、限られた計算能力、複雑な承認手続きが重なり、2ヶ月の延期を余儀なくされた。独自開発のTPUチップを所有しているものの、モデルのトレーニング、Google Cloudサービス、多数の消費者向けおよび企業向けAIアプリケーションからの競合する需要により、Googleは計算資源の不足に直面している。上層部は現在、組織再編成を通じてこれらの部門間の対立に対処している。同時に、リ
OpenAI、成長鈍化への懸念を退け、複数の事業部門が加速していると表明 OpenAI、成長鈍化への懸念を退け、複数の事業部門が加速していると表明 外部からの販売成長の鈍化や社内目標の未達に関する scrutiny に対応し、AI リーダーである OpenAI は 4 月 28 日(火曜日)、自信に満ちた声明を発表した。同社は、消費者向け製品とエンタープライズサービスが急速に進展しており、最近のビジネス減速に関する憶測を直接否定していると明らかにした。同社が「複数の社内目標を逸脱した」とする主張に対し、OpenAI はこれらの報道を「典型的なクリックベイト」と一蹴した。同社は、AI 統合に対する堅調なエンタープライズ需要を強調し、広告施策
アリババ・スーパーカップ:Qwen3.8-Max、強化されたコーディング機能とオフィスツールを搭載してデビュー アリババ・スーパーカップ:Qwen3.8-Max、強化されたコーディング機能とオフィスツールを搭載してデビュー アリババは公式に、2.4兆パラメータを備えた次世代の基盤大規模モデル「Qwen3.8-Max」を発表しました。この重要なAIの進歩は、コーディングや専門的なオフィス業務といった中核領域において大幅なパフォーマンス向上をもたらし、堅牢な技術能力を示しています。権威あるArena大規模モデルランキングにおいて、Qwen3.8-Maxは目覚ましい結果を残し、AnthropicのClaudeシリーズに次ぐ順位で、業界リーダーの仲間入りを果たしました。このマイルストーンは、複雑なタスクの処理における国内
関連特集おすすめ
作曲 曲のドラフト作成に最適なAIメロディ作成ツール
曲のドラフト作成に最適なAIメロディ作成ツール

2026年最新版 高評価のAIメロディ作成ツールで曲のドラフト作成!XIX.AIは、厳格な実世界テストを経て最高の作成体験を提供する、革新的な強力なコレクションを厳選しました。詳細な無料版と有料版の比較、正確なランキング、そして素晴らしい曲のドラフトを楽に作成し、創造的な生産性を大幅に向上させるためにぜひ試すべきオプションが見つかります。今すぐ探索して、あなたに最適なツールを見つけましょう!

8 ツール
xix.ai
チャットボット 面接練習用のベストなAI会話トレーニングツール
面接練習用のベストなAI会話トレーニングツール

2026年最新版・最高評価のAI会話トレーニングツールが、面接練習に最適です。XIX.AIにてご提供しています!この厳選コレクションには、現実世界での厳格なテストを経て正確なフィードバックを提供する強力なツールが含まれています。無料版と有料版の比較や詳細なランキングをご覧いただき、自信とスキルを高めるための必須オプションをお選びください。今すぐ探索して、面接成功に最適なツールを見つけましょう!

12 ツール
xix.ai
デザインとアート クリエイティブな実験に最適なAIスタイル転送ツール
クリエイティブな実験に最適なAIスタイル転送ツール

2026年版 クリエイティブな実験に最適な、最新・最高評価のAIスタイル転送ツール!XIX.AIは、実地テストと厳格なランキングを通じて卓越した結果をもたらす、強力で画期的な「必試」ツールを厳選しました。これらのトップソリューションは、コンテンツ制作を加速させ、無限の創造的可能性を切り拓くことで、クリエイターの生産性を大幅に向上させます。 今すぐチェックして、あなたにぴったりのツールを見つけ、今日から創作を始めましょう!

9 ツール
xix.ai
漫画制作 ビジュアルストーリーテリングに最適なAI吹き出しツール
ビジュアルストーリーテリングに最適なAI吹き出しツール

2026年版、ビジュアルストーリーテリングに最適な高評価AIダイアログバブルツールがXIX.AIに登場!この厳選コレクションには、クリエイターの生産性を高め、創作上のボトルネックを解消する、画期的な強力ツールが揃っています。 無料版と有料版の比較、実地テストの結果、最新のランキングを確認して、魅力的なビジュアルストーリーを構築するのに最適な、ぜひ試すべきソリューションを見つけましょう。今すぐチェックして、あなたにぴったりのツールを発見してください!

10 ツール
xix.ai
ミーティングアシスタント AI会議要約ツールのトップ選定:決定事項とフォローアップを明確に把握
AI会議要約ツールのトップ選定:決定事項とフォローアップを明確に把握

2026年版:意思決定の追跡を明確にし、フォローアップを容易にする、高評価のAI会議要約ツールベストセレクション。この厳選リストでは、会議メモの自動化、重要なアクション項目の特定、すべてのプロジェクトにわたるチーム連携の効率化を通じて、生産性を劇的に向上させる、強力で画期的なソリューションをご紹介します。 無料版と有料版の比較、実地テストの結果、毎週更新されるランキングを参考に、最適なツールを見つけてください。今すぐチェックして、AIの力を最大限に活用しましょう!

9 ツール
xix.ai
データ分析 最強のAIデータクリーニングツール:欠損値や重複データを迅速に修正
最強のAIデータクリーニングツール:欠損値や重複データを迅速に修正

2026年最新かつ最も評価の高いAIデータクリーニングツールをご紹介。欠損値や重複データを迅速に修正できるこれらのツールは、生産性を大幅に向上させる強力なソリューションです。各ツールは信頼性を確保するため、厳格な実環境でのテストを経ています。無料版と有料版の比較情報もご用意しており、あなたのニーズに最も合ったツールを見つけ出せます。今すぐXIX.AIで詳細を確認し、AI活用の強みを最大限に引き出しましょう。

11 ツール
xix.ai
コメント (1)
0/500
FredGreen
FredGreen 2026年6月25日 21:00:13 JST

Honestly, the switch from multi-stage cascades to end-to-end models in audio generation sounds like a huge leap forward. But I'm wondering—how do they ensure the cloned voice doesn't pick up weird artifacts or biases from the training data? Also, open-sourcing it is cool, but I hope they've thought about potential misuse, like deepfake audio scams. 😅

OR