騰訊混元及其合作伙伴釋出了MMAE評估標準,結果顯示人工智慧音訊編輯技術的精確度低於5%。

人工智慧在音訊生成領域已取得顯著進展,但編輯現有音訊仍是一項重大挑戰。近期,騰訊混元聯合上海交通大學、南洋理工大學、天津大學、北京大學及復旦大學等頂尖研究機構,推出了MMAE(大規模多工音訊編輯基準測試)——這是首個專為通用指令驅動型音訊編輯設計的大規模多工基準測試。該基準的推出為人工智慧音訊編輯領域確立了系統的評估標準,同時也暴露出現有技術在實現精準修改方面的明顯不足。
從“生成”到“編輯”:人工智慧音訊面臨的真正挑戰
傳統的音訊人工智慧技術主要側重於根據文字或提示詞生成新內容。而MMAE基準測試的核心要求則是讓模型理解現有的音訊片段,並依據自然語言指令進行精準調整:僅修改需要改動的部分,其餘部分保持不變。這種“編輯而非重構”的思路對音訊的保真度、指令遵循能力以及上下文理解深度都有更高要求,因此更貼近播客後期製作、音樂混音和語音個性化等實際應用場景。
測試結果顯示,當前主流模型的整體精確匹配率低於5%,這凸顯出可靠音訊編輯技術存在的巨大差距。這意味著在處理實際的編輯任務時,人工智慧往往會出現過度修改、遺漏指令或降低原始音訊質量等問題。
MMAE基準測試的亮點:針對真實場景的多維度評估
MMAE基準測試在設計上極為嚴謹周全,具備以下核心特點:
2,000個高保真樣本:全部取自現實場景,確保評估具有實用性和多樣性。17,741項細粒度評估指標:提供詳盡的評分標準,便於進行客觀量化。7種模態設定:涵蓋聲音、音樂、語音及其組合,可支援在複雜的音訊環境中進行測試。6個任務複雜度等級:從基礎修改到多步推理及多輪編輯不等,能夠全面評估模型的能力。8類操作型別:支援不同粒度上的編輯任務,包括區域性和全域性操作,從而考驗模型對細節的掌控能力。
AIbase評論:MMAE不僅僅是一個技術評估工具,更是推動音訊人工智慧從“生成型”向“可編輯型”轉變的重要里程碑。它為研究人員和開發者提供了統一的評估標準,有望加速下一代音訊編輯模型的發展。
未來展望:音訊編輯或將成為人工智慧多模態系統的核心能力
隨著多模態大模型快速發展,精準的音訊編輯將在內容創作、電影后期製作以及無障礙工具等領域發揮關鍵作用。騰訊混元與其他機構近期的合作體現了中國在音訊人工智慧研究領域的領先地位。業內預計未來會有更多開源資源及後續模型出現,共同填補這一技術空白。
相關文章
Claude 新增多語言語音支援,使真實電話通話更近一步
人工智慧的語音互動體驗即將迎來重大更新。據科技媒體 Android Authority 的最新報道,Anthropic 正在為其 AI 助手 Claude 準備一項重大升級,重點在於打破語言壁壘。根據部分使用者在設定介面捕捉到的資訊,此次更新不僅將打破“僅支援英語”的現狀,還將一次性新增多種語言選項。其中包括中文、粵語、日語、德語、西班牙語、葡萄牙語、俄語和烏克蘭語。對於非英語使用者而言,這意味著未來他們能夠使用母語更順暢地與 Claude 進行交流。除了擴充套件語言支援外,語音互動的操作邏輯也進行了精
Apple Store 應用推出 AI 虛擬購物助手,以支援產品問答與決策
MacRumors 報道,蘋果公司最近修訂了其 Apple Store 應用的隱私政策,預示著“虛擬購物助手”即將問世。該功能旨在透過生成式 AI 聊天介面回答產品諮詢並引導購買決策,這一特性建立在蘋果此前在 Apple Support 應用中推出類似助手的基礎之上。透過將 AI 驅動互動擴充套件到零售渠道,蘋果正戰略性地推動其電子商務客戶體驗的現代化。為了提供個性化推薦,該助手將處理賬戶詳情、裝置識別符號、運營商資料、聊天日誌以及位置資訊。關於隱私和合規性,蘋果強調,所有與第三方合作伙伴共享的聊天
Apple Watch 的新 AI 功能使始終監聽技術變得常態化
蘋果正在推動消費者接受一種新規範:你的裝置始終處於監聽狀態。在週三的“驚喜閃耀”iPhone釋出會上,雖然展示了最新的硬體,但真正的亮點並非傳聞中的摺疊屏iPhone,而是這家以嚴格隱私標準著稱的公司計劃如何使其手錶能夠處理實時音訊並轉錄對話。這是否意味著只要附近有人佩戴Apple Watch,你就會被錄音?不一定,但這仍可能讓許多人感到不適。這一進展也引發了一個問題:消費者是否真正需要這項技術,還是蘋果為了搶先於OpenAI等競爭對手推出類似的AI裝置而加速了開發?目前,多家初創公司基於一個前
相關專題推薦
評論 (0)
0/500

人工智慧在音訊生成領域已取得顯著進展,但編輯現有音訊仍是一項重大挑戰。近期,騰訊混元聯合上海交通大學、南洋理工大學、天津大學、北京大學及復旦大學等頂尖研究機構,推出了MMAE(大規模多工音訊編輯基準測試)——這是首個專為通用指令驅動型音訊編輯設計的大規模多工基準測試。該基準的推出為人工智慧音訊編輯領域確立了系統的評估標準,同時也暴露出現有技術在實現精準修改方面的明顯不足。
從“生成”到“編輯”:人工智慧音訊面臨的真正挑戰
傳統的音訊人工智慧技術主要側重於根據文字或提示詞生成新內容。而MMAE基準測試的核心要求則是讓模型理解現有的音訊片段,並依據自然語言指令進行精準調整:僅修改需要改動的部分,其餘部分保持不變。這種“編輯而非重構”的思路對音訊的保真度、指令遵循能力以及上下文理解深度都有更高要求,因此更貼近播客後期製作、音樂混音和語音個性化等實際應用場景。
測試結果顯示,當前主流模型的整體精確匹配率低於5%,這凸顯出可靠音訊編輯技術存在的巨大差距。這意味著在處理實際的編輯任務時,人工智慧往往會出現過度修改、遺漏指令或降低原始音訊質量等問題。
MMAE基準測試的亮點:針對真實場景的多維度評估
MMAE基準測試在設計上極為嚴謹周全,具備以下核心特點:
2,000個高保真樣本:全部取自現實場景,確保評估具有實用性和多樣性。17,741項細粒度評估指標:提供詳盡的評分標準,便於進行客觀量化。7種模態設定:涵蓋聲音、音樂、語音及其組合,可支援在複雜的音訊環境中進行測試。6個任務複雜度等級:從基礎修改到多步推理及多輪編輯不等,能夠全面評估模型的能力。8類操作型別:支援不同粒度上的編輯任務,包括區域性和全域性操作,從而考驗模型對細節的掌控能力。
AIbase評論:MMAE不僅僅是一個技術評估工具,更是推動音訊人工智慧從“生成型”向“可編輯型”轉變的重要里程碑。它為研究人員和開發者提供了統一的評估標準,有望加速下一代音訊編輯模型的發展。
未來展望:音訊編輯或將成為人工智慧多模態系統的核心能力
隨著多模態大模型快速發展,精準的音訊編輯將在內容創作、電影后期製作以及無障礙工具等領域發揮關鍵作用。騰訊混元與其他機構近期的合作體現了中國在音訊人工智慧研究領域的領先地位。業內預計未來會有更多開源資源及後續模型出現,共同填補這一技術空白。
Claude 新增多語言語音支援,使真實電話通話更近一步
人工智慧的語音互動體驗即將迎來重大更新。據科技媒體 Android Authority 的最新報道,Anthropic 正在為其 AI 助手 Claude 準備一項重大升級,重點在於打破語言壁壘。根據部分使用者在設定介面捕捉到的資訊,此次更新不僅將打破“僅支援英語”的現狀,還將一次性新增多種語言選項。其中包括中文、粵語、日語、德語、西班牙語、葡萄牙語、俄語和烏克蘭語。對於非英語使用者而言,這意味著未來他們能夠使用母語更順暢地與 Claude 進行交流。除了擴充套件語言支援外,語音互動的操作邏輯也進行了精
Apple Store 應用推出 AI 虛擬購物助手,以支援產品問答與決策
MacRumors 報道,蘋果公司最近修訂了其 Apple Store 應用的隱私政策,預示著“虛擬購物助手”即將問世。該功能旨在透過生成式 AI 聊天介面回答產品諮詢並引導購買決策,這一特性建立在蘋果此前在 Apple Support 應用中推出類似助手的基礎之上。透過將 AI 驅動互動擴充套件到零售渠道,蘋果正戰略性地推動其電子商務客戶體驗的現代化。為了提供個性化推薦,該助手將處理賬戶詳情、裝置識別符號、運營商資料、聊天日誌以及位置資訊。關於隱私和合規性,蘋果強調,所有與第三方合作伙伴共享的聊天
Apple Watch 的新 AI 功能使始終監聽技術變得常態化
蘋果正在推動消費者接受一種新規範:你的裝置始終處於監聽狀態。在週三的“驚喜閃耀”iPhone釋出會上,雖然展示了最新的硬體,但真正的亮點並非傳聞中的摺疊屏iPhone,而是這家以嚴格隱私標準著稱的公司計劃如何使其手錶能夠處理實時音訊並轉錄對話。這是否意味著只要附近有人佩戴Apple Watch,你就會被錄音?不一定,但這仍可能讓許多人感到不適。這一進展也引發了一個問題:消費者是否真正需要這項技術,還是蘋果為了搶先於OpenAI等競爭對手推出類似的AI裝置而加速了開發?目前,多家初創公司基於一個前





首頁






