阿里巴巴旗下阿里雲推出 Fun-CineForge:開源電影級配音模型與資料集
近日,由阿里巴巴通義實驗室語音團隊與中國科學技術大學合作開發的Fun-CineForge專案已正式開源。該專案透過引入全面的端到端製作工作流程及大型模型解決方案,致力解決影視配音領域的核心挑戰,例如口型同步、語音風格轉移及情感表達等。

核心突破:解決影視配音中的「口型不對」問題
傳統的 AI 配音技術常面臨唇形不對、情感表達生硬,以及難以適應包含對話與多人聲學的複雜電影場景等問題。Fun-CineForge透過兩項關鍵創新實現了重大突破:
MLLM 配音模型:超越單純的唇部區域音視對齊,採用多模態大型語言模型(MLLM)架構,能深度理解角色身份及場景中的情感細微差異。
CineDub 大規模資料集:本專案透過自動化流程,建置了首個標註詳盡的中文電視劇配音資料集,涵蓋獨白、旁白、對白及多方對話等多元情境。
專案更新與開源路線圖
本專案近期更新頻繁,顯示其工程成熟度已達高水準:
2026年1月至3月:發布了中文(CineDub-CN)與英文(CineDub-EN)的樣本資料集及示範程式。
2026年3月16日:正式將推論程式碼與模型權重(Checkpoints)開源,開發者可透過 GitHub 取得這些資源。
資料集存取:現已開放數個經典影集資料集供研究使用,包含中文影集《紅樓夢》與英文影集《唐頓莊園》。
技術應用:從「對白」到「表演」
官方示範顯示,該模型在重製《三國演義》等經典影集時展現了令人驚豔的成果。透過輸入特定的「情感線索」,模型能精準捕捉角色情緒的轉變——從恐懼到反抗——實現高保真度的聲音複製與自然的唇形同步。
Fun-CineForge的推出標誌著影視 AI 配音技術正從基礎的「文字轉語音」轉向具備藝術理解能力的「自動化後期製作」工具。這項進展有望大幅降低配音影視內容的製作成本。
專案:https://funcineforge.github.io/
相關文章
前OpenAI首席科學家Ilya的SSI首次釋出模型
AI 取得了另一項重大里程碑。在從 OpenAI 離職後,前首席科學家伊利亞·蘇茨克弗(Ilya Sutskever)創立了 Safe Superintelligence Inc.(SSI),該公司最近公佈了其首個模型的詳細資訊。海外社交媒體上的報道指出,該團隊正在利用 TTT(測試時訓練)開發一個緊湊的推理引擎,這是他們在追求安全超級智慧過程中的關鍵進展。這種新穎的架構專注於使模型能夠“學習如何學習”。與在推理過程中保持引數靜態的傳統大型語言模型不同,該引擎在處理現實世界任務時會動態更新特定
Lovable Leads Atech's Seed Round as AI Ambient Coding Officially Enters the Hardware Field
2026年5月14日,AI應用開發平臺Lovable宣佈參與丹麥硬體初創公司Atech的80萬美元種子輪融資。該輪由Lovable領投,吸引了包括a16z Scout Fund、Sequoia Scout Fund以及Nordic Makers在內的頂級風險投資機構。此次投資標誌著Lovable將“Vibe Coding”概念從純軟體開發戰略擴充套件至硬體工程領域。Atech旨在透過AI驅動的互動式平臺簡化複雜的硬體原型製作。使用者購買基礎硬體套件,並透過AI聊天機器人以自然語言描述其設計概念;系統
Anthropic 將 Claude AI 編碼工具擴充套件至日本,以推動海外增長
Anthropic,一家美國知名的人工智慧公司,正加強其全球推廣力度。週三,該公司在東京舉辦了一場大型開發者活動“Code with Claude”,吸引了近500名軟體工程師參加。該舉措旨在積極將Claude AI工具及相關產品引入日本市場,強調其自主編碼能力在提升企業生產力方面的核心優勢。強調自動化程式碼生成在活動中,Anthropic展示了其先進的自主編碼系統,該系統能夠獨立處理複雜的程式設計任務並最佳化現有程式碼結構。隨著全球對高效開發工具的需求不斷增長,Anthropic希望透過此類活動加強
相關專題推薦
評論 (0)
0/500
近日,由阿里巴巴通義實驗室語音團隊與中國科學技術大學合作開發的Fun-CineForge專案已正式開源。該專案透過引入全面的端到端製作工作流程及大型模型解決方案,致力解決影視配音領域的核心挑戰,例如口型同步、語音風格轉移及情感表達等。

核心突破:解決影視配音中的「口型不對」問題
傳統的 AI 配音技術常面臨唇形不對、情感表達生硬,以及難以適應包含對話與多人聲學的複雜電影場景等問題。Fun-CineForge透過兩項關鍵創新實現了重大突破:
MLLM 配音模型:超越單純的唇部區域音視對齊,採用多模態大型語言模型(MLLM)架構,能深度理解角色身份及場景中的情感細微差異。
CineDub 大規模資料集:本專案透過自動化流程,建置了首個標註詳盡的中文電視劇配音資料集,涵蓋獨白、旁白、對白及多方對話等多元情境。
專案更新與開源路線圖
本專案近期更新頻繁,顯示其工程成熟度已達高水準:
2026年1月至3月:發布了中文(CineDub-CN)與英文(CineDub-EN)的樣本資料集及示範程式。
2026年3月16日:正式將推論程式碼與模型權重(Checkpoints)開源,開發者可透過 GitHub 取得這些資源。
資料集存取:現已開放數個經典影集資料集供研究使用,包含中文影集《紅樓夢》與英文影集《唐頓莊園》。
技術應用:從「對白」到「表演」
官方示範顯示,該模型在重製《三國演義》等經典影集時展現了令人驚豔的成果。透過輸入特定的「情感線索」,模型能精準捕捉角色情緒的轉變——從恐懼到反抗——實現高保真度的聲音複製與自然的唇形同步。
Fun-CineForge的推出標誌著影視 AI 配音技術正從基礎的「文字轉語音」轉向具備藝術理解能力的「自動化後期製作」工具。這項進展有望大幅降低配音影視內容的製作成本。
專案:https://funcineforge.github.io/
前OpenAI首席科學家Ilya的SSI首次釋出模型
AI 取得了另一項重大里程碑。在從 OpenAI 離職後,前首席科學家伊利亞·蘇茨克弗(Ilya Sutskever)創立了 Safe Superintelligence Inc.(SSI),該公司最近公佈了其首個模型的詳細資訊。海外社交媒體上的報道指出,該團隊正在利用 TTT(測試時訓練)開發一個緊湊的推理引擎,這是他們在追求安全超級智慧過程中的關鍵進展。這種新穎的架構專注於使模型能夠“學習如何學習”。與在推理過程中保持引數靜態的傳統大型語言模型不同,該引擎在處理現實世界任務時會動態更新特定
Lovable Leads Atech's Seed Round as AI Ambient Coding Officially Enters the Hardware Field
2026年5月14日,AI應用開發平臺Lovable宣佈參與丹麥硬體初創公司Atech的80萬美元種子輪融資。該輪由Lovable領投,吸引了包括a16z Scout Fund、Sequoia Scout Fund以及Nordic Makers在內的頂級風險投資機構。此次投資標誌著Lovable將“Vibe Coding”概念從純軟體開發戰略擴充套件至硬體工程領域。Atech旨在透過AI驅動的互動式平臺簡化複雜的硬體原型製作。使用者購買基礎硬體套件,並透過AI聊天機器人以自然語言描述其設計概念;系統
Anthropic 將 Claude AI 編碼工具擴充套件至日本,以推動海外增長
Anthropic,一家美國知名的人工智慧公司,正加強其全球推廣力度。週三,該公司在東京舉辦了一場大型開發者活動“Code with Claude”,吸引了近500名軟體工程師參加。該舉措旨在積極將Claude AI工具及相關產品引入日本市場,強調其自主編碼能力在提升企業生產力方面的核心優勢。強調自動化程式碼生成在活動中,Anthropic展示了其先進的自主編碼系統,該系統能夠獨立處理複雜的程式設計任務並最佳化現有程式碼結構。隨著全球對高效開發工具的需求不斷增長,Anthropic希望透過此類活動加強





首頁






