首頁美團開源語音模型樹立了語音克隆的新標竿
音訊生成領域正經歷一場根本性的轉變，從多階段級聯架構轉向端到端模型。 為克服傳統 TTS 系統所採用的「梅爾頻譜圖」中間表示形式所固有的資訊損失與誤差累積問題，美團 LongCat 團隊已正式發布並開源 LongCat-AudioDiT（提供 10 億與 35 億參數版本）。該模型透過直接波形潛空間建模，成功突破了零樣本語音克隆的既有性能極限。
核心架構：突破梅爾頻譜圖的局限
LongCat-AudioDiT 摒棄了傳統的「聲學特徵預測 + 神經語音編碼器」多階段流程，轉而建立一套基於 Wav-VAE（波形變分自編碼器）與 DiT（擴散變換器）的簡化極簡架構。
高效 Wav-VAE：採用全卷積設計，將 24kHz 波形壓縮 2000 倍至 11.7Hz 幀率。透過非參數捷徑分支與多目標對抗式訓練，確保重建波形在維持精確時頻結構的同時，呈現極佳的自然聆聽品質。
語義增強型 DiT：該模型創新性地將 UMT5 文字編碼器的原始詞嵌入向量與其頂層隱藏狀態進行融合。此舉彌補了高階語義表示中遺失的語音細節，顯著提升了生成的語音可懂度。
推論優化：精準修正語音漂移
為進一步提升生成品質，研究團隊實施了兩項關鍵技術改進：
雙重約束機制：此技術能識別並修正流匹配 TTS 中長期存在的「訓練與推論不匹配」問題。透過在推論階段強制重置提示區的潛在變量，徹底解決了發音者聲音漂移與不穩定的問題。
自適應投影引導（APG）：APG 取代了傳統的無分類器引導（CFG）。它能精準篩選引導訊號中的有益成分，同時抑制導致音質退化的成分，在避免引發頻譜「過飽和」的情況下，顯著提升語音自然度。
性能：SOTA 級別的克隆準確度
在 Seed 資料集的基準測試中，LongCat-AudioDiT 展現出領先的表現：
相似度 (SIM)：該 35 億參數模型在 Seed-ZH 測試集上獲得 0.818 的分數，並在具挑戰性的 Seed-Hard 句子集上取得 0.797，表現優於 Seed-TTS、CosyVoice3.5 及 MiniMax-Speech 等知名模型。
準確度：在關鍵指標上名列業界頂尖，包括英語 WER 為 1.50%，以及中文難句 CER 為 6.04%。
值得注意的是，LongCat-AudioDiT 僅透過對預處理後的 ASR 轉錄資料進行單階段訓練，便能取得優於多階段訓練模型的卓越成果。相關研究論文、原始碼及模型權重現已全面開源，並可於 GitHub 和 HuggingFace 取得。
專案連結：
GitHub：https://github.com/meituan-longcat/LongCat-AudioDiT
HuggingFace：https://huggingface.co/meituan-longcat/LongCat-AudioDiT
相關文章
DeepMind執行長哈西里斯：我每天睡六個小時，通常在凌晨1點左右感到精力充沛。
Fortune 最近刊登了對谷歌 DeepMind 執行長 Demis Hassabis 的採訪，揭示了他對休息和生產力的非傳統方法。Hassabis 透露，他睡眠時間非常少，將清醒時間劃分為兩個不同的工作階段。關於他的睡眠習慣，Hassabis 表示：“我目標睡六小時，但我的習慣非同尋常。我可以在白天有效運作。”他強調，睡眠少於六小時會對大腦健康產生負面影響。Hassabis 於 2010 年聯合創立了 DeepMind（後被谷歌收購），並因其在蛋白質結構預測方面的開創性工作榮獲 20
儘管營收未達預期，OpenAI 與 Anthropic 仍爭奪市場份額
儘管近期有報導指出 OpenAI 未達營收目標，導致本週二科技股承壓，但私人人工智慧實驗室的投資者仍展現出韌性。資深投資者已確認，儘管媒體報導負面，他們仍不會削減投資。分析師認為當前的 AI 競逐仍處於初期階段，因此排除「贏家通吃」的結果。儘管高昂的運算成本對營收造成壓力，但各實驗室可透過調高訂閱費來提升獲利能力。產業格局正經歷微妙的變化與 OpenAI 不同，競爭對手 Anthropic 獲得了
加州自動駕駛合規：罰單、地理圍欄與 100 萬英里的新時代
Guident 在南佛羅里達州營運一輛 AuveTech 接駁車，並運用其遠端監控技術，管理西棕櫚灘的一條四英里路線以及博卡拉頓的一條一英里路線。| 圖片來源：Guident加州正重新定義無人駕駛車輛的監管格局，從科技產業的「快速行動、打破常規」心態，轉向嚴格的問責制與嚴謹的行駛里程要求。Guident 執行董事長兼執行長哈羅德·布勞恩（Harold Braun）在《機器人報告》（The Robo
相關專題推薦
聊天機器人
用於語言練習、面試準備和日常流利度的最佳 AI 角色扮演聊天應用
2026 年最新最佳頂級評分 AI 角色扮演聊天應用，用於語言練習、面試準備和日常流利度！XIX.AI 精心策劃了一個強大的變革性合集，提供免費與付費對比、真實世界測試以及每週更新的排名。這些必試工具可幫助您提升寫作技能，克服流利度挑戰，並提高所有日常場景下的溝通效率。立即探索，發現您語言成長的完美工具！
10 個工具
xix.ai
音樂創作
用於混音製作、取樣準備及卡拉OK母帶處理的 AI 聲部分離工具
2026年最新、最優秀且評分最高的AI音軌分離工具彙總，專為混音製作、取樣準備以及卡拉OK音訊處理而設計。這些功能強大的創新工具經過實際測試，能夠實現精準的音訊分離，顯著提升工作效率。XIX.AI每週都會更新免費的付費產品對比指南，幫助您找到最適合自身需求的工具。立即探索，發揮您的AI優勢。
8 個工具
xix.ai
數據分析
用於收入看板、轉化漏斗分析及產品指標分析的 AI SQL 助手
2026年最新最優秀的AI SQL輔助工具排名揭曉！XIX.AI精心挑選了一系列功能強大的工具，這些工具會定期更新，並透過真實的場景測試來驗證其效能。使用這些值得嘗試的工具，您可以快速生成精準的收入分析報表、分析銷售流程，並追蹤產品各項指標，從而大幅提升工作效率。立即探索，找到最適合您的資料驅動決策工具！238個字元
9 個工具
xix.ai
音樂創作
最佳用於歌曲草稿的 AI 旋律創作工具
2026 年最新最佳頂級評分 AI 旋律創作工具，助力歌曲草稿創作！XIX.AI 精心策劃了一套極具影響力且經過嚴格真實世界測試的變革性合集，旨在提供最佳的創作體驗。您可以找到詳細的免費與付費版對比、精準的排名以及必試選項，這些工具旨在幫助您輕鬆創作出令人驚豔的歌曲草稿，並顯著提升您的創意生產力。立即探索，發現您的完美工具！
8 個工具
xix.ai
聊天機器人
最適合面試練習的 AI 對話訓練工具
2026 年最新、最受好評的 AI 面試對話訓練工具，盡在 XIX.AI！這份精心精選的清單收錄了多款功能強大、顛覆傳統的工具，這些工具均經過嚴格的實戰測試，能提供精準的回饋。 您將在此找到免費版與付費版的比較分析，以及詳細的排名榜單，助您挑選必試的選項，從而提升自信與技能。立即探索，發掘助您在面試中脫穎而出的完美工具！
12 個工具
xix.ai
設計與藝術
最適合進行創意實驗的 AI 風格轉移工具
2026 年最新、最佳且評價最高的 AI 風格轉移工具，助您進行創意實驗！XIX.AI 精心精選了一系列強大且具革命性的必試工具，這些工具經實際測試與嚴格評比，能帶來卓越成果。這些頂尖解決方案能加速內容創作並開啟無盡的創意可能性，協助創作者顯著提升生產力。 立即探索，找出最適合您的工具，並從今天開始創作吧！
9 個工具
xix.ai
評論 (1)
0/500
![FredGreen]()
Honestly, the switch from multi-stage cascades to end-to-end models in audio generation sounds like a huge leap forward. But I'm wondering—how do they ensure the cloned voice doesn't pick up weird artifacts or biases from the training data? Also, open-sourcing it is cool, but I hope they've thought about potential misuse, like deepfake audio scams. 😅
音訊生成領域正經歷一場根本性的轉變，從多階段級聯架構轉向端到端模型。 為克服傳統 TTS 系統所採用的「梅爾頻譜圖」中間表示形式所固有的資訊損失與誤差累積問題，美團 LongCat 團隊已正式發布並開源 LongCat-AudioDiT（提供 10 億與 35 億參數版本）。該模型透過直接波形潛空間建模，成功突破了零樣本語音克隆的既有性能極限。
核心架構：突破梅爾頻譜圖的局限
LongCat-AudioDiT 摒棄了傳統的「聲學特徵預測 + 神經語音編碼器」多階段流程，轉而建立一套基於 Wav-VAE（波形變分自編碼器）與 DiT（擴散變換器）的簡化極簡架構。
高效 Wav-VAE：採用全卷積設計，將 24kHz 波形壓縮 2000 倍至 11.7Hz 幀率。透過非參數捷徑分支與多目標對抗式訓練，確保重建波形在維持精確時頻結構的同時，呈現極佳的自然聆聽品質。
語義增強型 DiT：該模型創新性地將 UMT5 文字編碼器的原始詞嵌入向量與其頂層隱藏狀態進行融合。此舉彌補了高階語義表示中遺失的語音細節，顯著提升了生成的語音可懂度。
推論優化：精準修正語音漂移
為進一步提升生成品質，研究團隊實施了兩項關鍵技術改進：
雙重約束機制：此技術能識別並修正流匹配 TTS 中長期存在的「訓練與推論不匹配」問題。透過在推論階段強制重置提示區的潛在變量，徹底解決了發音者聲音漂移與不穩定的問題。
自適應投影引導（APG）：APG 取代了傳統的無分類器引導（CFG）。它能精準篩選引導訊號中的有益成分，同時抑制導致音質退化的成分，在避免引發頻譜「過飽和」的情況下，顯著提升語音自然度。
性能：SOTA 級別的克隆準確度
在 Seed 資料集的基準測試中，LongCat-AudioDiT 展現出領先的表現：
相似度 (SIM)：該 35 億參數模型在 Seed-ZH 測試集上獲得 0.818 的分數，並在具挑戰性的 Seed-Hard 句子集上取得 0.797，表現優於 Seed-TTS、CosyVoice3.5 及 MiniMax-Speech 等知名模型。
準確度：在關鍵指標上名列業界頂尖，包括英語 WER 為 1.50%，以及中文難句 CER 為 6.04%。
值得注意的是，LongCat-AudioDiT 僅透過對預處理後的 ASR 轉錄資料進行單階段訓練，便能取得優於多階段訓練模型的卓越成果。相關研究論文、原始碼及模型權重現已全面開源，並可於 GitHub 和 HuggingFace 取得。
專案連結：
GitHub：https://github.com/meituan-longcat/LongCat-AudioDiT
HuggingFace：https://huggingface.co/meituan-longcat/LongCat-AudioDiT
DeepMind執行長哈西里斯：我每天睡六個小時，通常在凌晨1點左右感到精力充沛。
Fortune 最近刊登了對谷歌 DeepMind 執行長 Demis Hassabis 的採訪，揭示了他對休息和生產力的非傳統方法。Hassabis 透露，他睡眠時間非常少，將清醒時間劃分為兩個不同的工作階段。關於他的睡眠習慣，Hassabis 表示：“我目標睡六小時，但我的習慣非同尋常。我可以在白天有效運作。”他強調，睡眠少於六小時會對大腦健康產生負面影響。Hassabis 於 2010 年聯合創立了 DeepMind（後被谷歌收購），並因其在蛋白質結構預測方面的開創性工作榮獲 20
儘管營收未達預期，OpenAI 與 Anthropic 仍爭奪市場份額
儘管近期有報導指出 OpenAI 未達營收目標，導致本週二科技股承壓，但私人人工智慧實驗室的投資者仍展現出韌性。資深投資者已確認，儘管媒體報導負面，他們仍不會削減投資。分析師認為當前的 AI 競逐仍處於初期階段，因此排除「贏家通吃」的結果。儘管高昂的運算成本對營收造成壓力，但各實驗室可透過調高訂閱費來提升獲利能力。產業格局正經歷微妙的變化與 OpenAI 不同，競爭對手 Anthropic 獲得了
加州自動駕駛合規：罰單、地理圍欄與 100 萬英里的新時代
Guident 在南佛羅里達州營運一輛 AuveTech 接駁車，並運用其遠端監控技術，管理西棕櫚灘的一條四英里路線以及博卡拉頓的一條一英里路線。| 圖片來源：Guident加州正重新定義無人駕駛車輛的監管格局，從科技產業的「快速行動、打破常規」心態，轉向嚴格的問責制與嚴謹的行駛里程要求。Guident 執行董事長兼執行長哈羅德·布勞恩（Harold Braun）在《機器人報告》（The Robo
2026 年最新最佳頂級評分 AI 角色扮演聊天應用，用於語言練習、面試準備和日常流利度！XIX.AI 精心策劃了一個強大的變革性合集，提供免費與付費對比、真實世界測試以及每週更新的排名。這些必試工具可幫助您提升寫作技能，克服流利度挑戰，並提高所有日常場景下的溝通效率。立即探索，發現您語言成長的完美工具！
10 個工具
xix.ai
2026年最新、最優秀且評分最高的AI音軌分離工具彙總，專為混音製作、取樣準備以及卡拉OK音訊處理而設計。這些功能強大的創新工具經過實際測試，能夠實現精準的音訊分離，顯著提升工作效率。XIX.AI每週都會更新免費的付費產品對比指南，幫助您找到最適合自身需求的工具。立即探索，發揮您的AI優勢。
8 個工具
xix.ai
2026年最新最優秀的AI SQL輔助工具排名揭曉！XIX.AI精心挑選了一系列功能強大的工具，這些工具會定期更新，並透過真實的場景測試來驗證其效能。使用這些值得嘗試的工具，您可以快速生成精準的收入分析報表、分析銷售流程，並追蹤產品各項指標，從而大幅提升工作效率。立即探索，找到最適合您的資料驅動決策工具！238個字元
9 個工具
xix.ai
2026 年最新最佳頂級評分 AI 旋律創作工具，助力歌曲草稿創作！XIX.AI 精心策劃了一套極具影響力且經過嚴格真實世界測試的變革性合集，旨在提供最佳的創作體驗。您可以找到詳細的免費與付費版對比、精準的排名以及必試選項，這些工具旨在幫助您輕鬆創作出令人驚豔的歌曲草稿，並顯著提升您的創意生產力。立即探索，發現您的完美工具！
8 個工具
xix.ai
2026 年最新、最受好評的 AI 面試對話訓練工具，盡在 XIX.AI！這份精心精選的清單收錄了多款功能強大、顛覆傳統的工具，這些工具均經過嚴格的實戰測試，能提供精準的回饋。 您將在此找到免費版與付費版的比較分析，以及詳細的排名榜單，助您挑選必試的選項，從而提升自信與技能。立即探索，發掘助您在面試中脫穎而出的完美工具！
12 個工具
xix.ai
2026 年最新、最佳且評價最高的 AI 風格轉移工具，助您進行創意實驗！XIX.AI 精心精選了一系列強大且具革命性的必試工具，這些工具經實際測試與嚴格評比，能帶來卓越成果。這些頂尖解決方案能加速內容創作並開啟無盡的創意可能性，協助創作者顯著提升生產力。 立即探索，找出最適合您的工具，並從今天開始創作吧！
9 個工具
xix.ai
Honestly, the switch from multi-stage cascades to end-to-end models in audio generation sounds like a huge leap forward. But I'm wondering—how do they ensure the cloned voice doesn't pick up weird artifacts or biases from the training data? Also, open-sourcing it is cool, but I hope they've thought about potential misuse, like deepfake audio scams. 😅
