阿里巴巴旗下通一推出 Fun-CineForge:開源 AI 模型實現電影級語音合成
阿里巴巴同易實驗室於3月16日正式推出並開源了電影級、多場景語音合成多模態模型Fun-CineForge。該模型解決了AI配音中的核心挑戰,包括口型同步失準、情感表達不足,以及多個角色間聲音特徵不一致等問題。此外,該模型還引入了一種高品質的資料集建構方法。

在技術層面上,Fun-CineForge 開創了「時序模態」的概念。與僅專注於文字或視覺的傳統模型不同,它透過精準的時間戳控制,確保語音合成在精確的時間區間內進行。即使在角色被遮擋、鏡頭頻繁切換或臉部模糊等複雜的電影場景中,該模型仍能維持高度的影音同步性,並嚴格遵循指令。
隨附的開源CineDub資料集建構流程是另一項關鍵創新。Tongyi Lab 運用大型語言模型的「思維鏈推理」技術,將原始影片素材自動轉化為結構化資料,大幅減少了人工標註的需求。此流程實現了約 1% 的字元錯誤率與僅 1.20% 的發言人標定錯誤率,為大型模型提供了極具競爭力的訓練基礎。

Fun-CineForge 現已於 GitHub、HuggingFace 及 ModelScope 社群上線,支援長達 30 秒的影片片段推論。該模型不僅在單人獨白表現出色,更能為雙人對白及多方對話場景提供專業級支援。這項突破標誌著 AI 語音技術正從基礎的客戶服務與助理角色,邁向高標準的動畫與電影後期製作領域。
GitHub:https://github.com/FunAudioLLM/FunCineForge
HuggingFace:https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope:https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
相關文章
DeepMind執行長哈西里斯:我每天睡六個小時,通常在凌晨1點左右感到精力充沛。
Fortune 最近刊登了對谷歌 DeepMind 執行長 Demis Hassabis 的採訪,揭示了他對休息和生產力的非傳統方法。Hassabis 透露,他睡眠時間非常少,將清醒時間劃分為兩個不同的工作階段。關於他的睡眠習慣,Hassabis 表示:“我目標睡六小時,但我的習慣非同尋常。我可以在白天有效運作。”他強調,睡眠少於六小時會對大腦健康產生負面影響。Hassabis 於 2010 年聯合創立了 DeepMind(後被谷歌收購),並因其在蛋白質結構預測方面的開創性工作榮獲 20
儘管營收未達預期,OpenAI 與 Anthropic 仍爭奪市場份額
儘管近期有報導指出 OpenAI 未達營收目標,導致本週二科技股承壓,但私人人工智慧實驗室的投資者仍展現出韌性。資深投資者已確認,儘管媒體報導負面,他們仍不會削減投資。分析師認為當前的 AI 競逐仍處於初期階段,因此排除「贏家通吃」的結果。儘管高昂的運算成本對營收造成壓力,但各實驗室可透過調高訂閱費來提升獲利能力。產業格局正經歷微妙的變化與 OpenAI 不同,競爭對手 Anthropic 獲得了
加州自動駕駛合規:罰單、地理圍欄與 100 萬英里的新時代
Guident 在南佛羅里達州營運一輛 AuveTech 接駁車,並運用其遠端監控技術,管理西棕櫚灘的一條四英里路線以及博卡拉頓的一條一英里路線。| 圖片來源:Guident加州正重新定義無人駕駛車輛的監管格局,從科技產業的「快速行動、打破常規」心態,轉向嚴格的問責制與嚴謹的行駛里程要求。Guident 執行董事長兼執行長哈羅德·布勞恩(Harold Braun)在《機器人報告》(The Robo
相關專題推薦
評論 (1)
0/500
Just tried the demo and honestly blown away by how natural the lip-sync feels now! 😮 Always thought AI dubbing sounded a bit robotic, but this seems like a huge leap. Wonder if this will start being used in indie films or even gaming soon? The open-source move is pretty bold too—curious to see how other companies respond.
阿里巴巴同易實驗室於3月16日正式推出並開源了電影級、多場景語音合成多模態模型Fun-CineForge。該模型解決了AI配音中的核心挑戰,包括口型同步失準、情感表達不足,以及多個角色間聲音特徵不一致等問題。此外,該模型還引入了一種高品質的資料集建構方法。

在技術層面上,Fun-CineForge 開創了「時序模態」的概念。與僅專注於文字或視覺的傳統模型不同,它透過精準的時間戳控制,確保語音合成在精確的時間區間內進行。即使在角色被遮擋、鏡頭頻繁切換或臉部模糊等複雜的電影場景中,該模型仍能維持高度的影音同步性,並嚴格遵循指令。
隨附的開源CineDub資料集建構流程是另一項關鍵創新。Tongyi Lab 運用大型語言模型的「思維鏈推理」技術,將原始影片素材自動轉化為結構化資料,大幅減少了人工標註的需求。此流程實現了約 1% 的字元錯誤率與僅 1.20% 的發言人標定錯誤率,為大型模型提供了極具競爭力的訓練基礎。

Fun-CineForge 現已於 GitHub、HuggingFace 及 ModelScope 社群上線,支援長達 30 秒的影片片段推論。該模型不僅在單人獨白表現出色,更能為雙人對白及多方對話場景提供專業級支援。這項突破標誌著 AI 語音技術正從基礎的客戶服務與助理角色,邁向高標準的動畫與電影後期製作領域。
GitHub:https://github.com/FunAudioLLM/FunCineForge
HuggingFace:https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope:https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
DeepMind執行長哈西里斯:我每天睡六個小時,通常在凌晨1點左右感到精力充沛。
Fortune 最近刊登了對谷歌 DeepMind 執行長 Demis Hassabis 的採訪,揭示了他對休息和生產力的非傳統方法。Hassabis 透露,他睡眠時間非常少,將清醒時間劃分為兩個不同的工作階段。關於他的睡眠習慣,Hassabis 表示:“我目標睡六小時,但我的習慣非同尋常。我可以在白天有效運作。”他強調,睡眠少於六小時會對大腦健康產生負面影響。Hassabis 於 2010 年聯合創立了 DeepMind(後被谷歌收購),並因其在蛋白質結構預測方面的開創性工作榮獲 20
儘管營收未達預期,OpenAI 與 Anthropic 仍爭奪市場份額
儘管近期有報導指出 OpenAI 未達營收目標,導致本週二科技股承壓,但私人人工智慧實驗室的投資者仍展現出韌性。資深投資者已確認,儘管媒體報導負面,他們仍不會削減投資。分析師認為當前的 AI 競逐仍處於初期階段,因此排除「贏家通吃」的結果。儘管高昂的運算成本對營收造成壓力,但各實驗室可透過調高訂閱費來提升獲利能力。產業格局正經歷微妙的變化與 OpenAI 不同,競爭對手 Anthropic 獲得了
Just tried the demo and honestly blown away by how natural the lip-sync feels now! 😮 Always thought AI dubbing sounded a bit robotic, but this seems like a huge leap. Wonder if this will start being used in indie films or even gaming soon? The open-source move is pretty bold too—curious to see how other companies respond.





首頁






