選項
首頁
新聞
阿里巴巴旗下阿里雲推出 Fun-CineForge:開源電影級配音模型與資料集

阿里巴巴旗下阿里雲推出 Fun-CineForge:開源電影級配音模型與資料集

2026-05-07
80

近日,由阿里巴巴通義實驗室語音團隊與中國科學技術大學合作開發的Fun-CineForge專案已正式開源。該專案透過引入全面的端到端製作工作流程及大型模型解決方案,致力解決影視配音領域的核心挑戰,例如口型同步、語音風格轉移及情感表達等。

image.png

核心突破:解決影視配音中的「口型不對」問題

傳統的 AI 配音技術常面臨唇形不對、情感表達生硬,以及難以適應包含對話與多人聲學的複雜電影場景等問題。Fun-CineForge透過兩項關鍵創新實現了重大突破:

MLLM 配音模型:超越單純的唇部區域音視對齊,採用多模態大型語言模型(MLLM)架構,能深度理解角色身份及場景中的情感細微差異。

CineDub 大規模資料集:本專案透過自動化流程,建置了首個標註詳盡的中文電視劇配音資料集,涵蓋獨白、旁白、對白及多方對話等多元情境。

專案更新與開源路線圖

本專案近期更新頻繁,顯示其工程成熟度已達高水準:

2026年1月至3月:發布了中文(CineDub-CN)與英文(CineDub-EN)的樣本資料集及示範程式。

2026年3月16日:正式將推論程式碼與模型權重(Checkpoints)開源,開發者可透過 GitHub 取得這些資源。

資料集存取:現已開放數個經典影集資料集供研究使用,包含中文影集《紅樓夢》與英文影集《唐頓莊園》。

技術應用:從「對白」到「表演」

官方示範顯示,該模型在重製《三國演義》等經典影集時展現了令人驚豔的成果。透過輸入特定的「情感線索」,模型能精準捕捉角色情緒的轉變——從恐懼到反抗——實現高保真度的聲音複製與自然的唇形同步。

Fun-CineForge的推出標誌著影視 AI 配音技術正從基礎的「文字轉語音」轉向具備藝術理解能力的「自動化後期製作」工具。這項進展有望大幅降低配音影視內容的製作成本。

專案:https://funcineforge.github.io/

相關文章
SpaceX的IPO申請檔案重點體現了其在衛星網際網路和人工智慧領域的發展雄心 SpaceX的IPO申請檔案重點體現了其在衛星網際網路和人工智慧領域的發展雄心 在為即將進行的IPO提交的S-1註冊檔案中,SpaceX公佈了一系列令人矚目的業務資料,這些資料凸顯了其在航空航天通訊和人工智慧領域的強大實力:Starlink使用者數突破1000萬:截至2026年第一季度,全球付費Starlink使用者數量已達到1030萬,這一數字在過去一年內翻了一番。這一增長充分證明了作為全球最大的近地軌道衛星星座,Starlink在寬頻和行動通訊領域的領先地位。目前該衛星網路由大約9600顆衛星組成,這些衛星佔在軌所有活躍衛星總數的65%。Grok與X人工智慧生態體系:通
阿里巴巴Tuhao M890上市,憑藉三重效能優勢開啟晶片-雲-模型-推理的全棧代理時代 阿里巴巴Tuhao M890上市,憑藉三重效能優勢開啟晶片-雲-模型-推理的全棧代理時代 2026年5月20日,在阿里雲峰會上,阿里雲宣佈完成了專為“智慧體時代”設計的全棧技術系統升級。這一變革重塑了整個技術體系——從底層晶片和雲平臺到模型與推理方案。此次升級使阿里雲成為一家能夠讓大量智慧體實現24/7連續執行的“AI工廠”,從而超越了單純為人類使用者提供服務的範疇。1. 核心基礎:騰迅振武M890晶片與超級節點伺服器此次升級的核心是騰迅推出的新一代AI晶片——振武M890,該晶片集訓練與推理功能於一體。效能提升:M890擁有144GB的記憶體,其效能是前代產品振武810E的三倍。
奔騰4的復興:這款已有20年曆史的CPU能夠執行Meta Llama 3大型模型 奔騰4的復興:這款已有20年曆史的CPU能夠執行Meta Llama 3大型模型 最近,YouTube技術頻道Fully Buffered進行了一項令人印象深刻且極具挑戰性的實驗:他們成功地在2006年推出的Pentium 4 641處理器上執行了Meta最新的Llama 3.2 3B大型模型。這項測試迫使現代人工智慧技術與二十年前的硬體裝置進行了碰撞,不僅揭示了大語言模型的基本相容性限制,還引發了眾多觀眾的思考:在人工智慧時代,摩爾定律是如何以這種不同尋常的方式實現跨代際應用的。硬體考古學:將2006年的元件推向極限為了完成這項測試,Fully Buffered團隊重
相關專題推薦
視頻創作 播客創作者首選的頂尖 AI 影片製作工具:將音訊波形轉化為引人入勝的談話頭像影片
播客創作者首選的頂尖 AI 影片製作工具:將音訊波形轉化為引人入勝的談話頭像影片

立即前往 XIX.AI,探索 2026 年最適合播客的頂尖 AI 影片製作工具。我們精心挑選並評選出的這份榜單,收錄了多款強大工具,能輕鬆將您的音訊轉化為引人入勝的談話頭像影片。透過實際測試與每週更新的排行榜,比較免費與付費選項的差異。立即解鎖您的視覺敘事優勢。

10 個工具
xix.ai
聊天機器人 利用這些角色扮演工具,打造屬於你的 AI 愛情故事
利用這些角色扮演工具,打造屬於你的 AI 愛情故事

探索 2026 年最新、評價最高的 AI 角色扮演工具,打造身臨其境的敘事體驗。XIX.AI 精心整理的清單收錄了多款功能強大、能徹底改變遊戲規則的助手,助您釋放創意敘事潛能並增添情感深度。透過實際測試,比較免費與付費選項的差異。立即展開您的獨特旅程。

10 個工具
xix.ai
文字轉語音 獨立遊戲開發者必備的頂尖 AI 配音工具:為 RPG 與視覺小說節省配音時間
獨立遊戲開發者必備的頂尖 AI 配音工具:為 RPG 與視覺小說節省配音時間

探索 2026 年最適合遊戲開發者的 AI 配音工具!XIX.AI 精心整理的清單收錄了備受好評、能徹底改變遊戲開發模式的解決方案,助您在角色扮演遊戲(RPG)和視覺小說(Visual Novel)的配音製作上節省時間與成本。探索免費與付費版本的比較、實際測試結果,以及每週更新的排行榜。立即找到最適合您的配音工具!

10 個工具
xix.ai
教育與學習 最佳人工智慧間隔重複學習工具:幫助醫學生和法律專業學生最佳化學習計劃
最佳人工智慧間隔重複學習工具:幫助醫學生和法律專業學生最佳化學習計劃

探索由 XIX.AI 精心挑選的 2026 年最佳 AI 間隔重複學習工具。我們推薦的這些極具創新性的工具能幫助醫學和法律專業的學生最佳化學習計劃,從而提高知識記憶效果。透過真實案例測試和每週更新的排名資訊,你可以瞭解免費選項與付費選項之間的差異。現在就開啟你的學習優勢吧!

10 個工具
xix.ai
視頻創作 最適合劇本創作與視覺敘事的 AI 文字轉影片平台
最適合劇本創作與視覺敘事的 AI 文字轉影片平台

2026 年最新最佳 AI 文字轉影片平台:頂級劇本撰寫與視覺敘事工具。探索強大且顛覆傳統的解決方案,將您的文字轉化為引人入勝的影片。透過我們每週更新的排行榜與實際測試,比較免費與付費選項。找到最適合您的平台,提升創造力與生產力。立即探索 XIX.AI 精選推薦。

10 個工具
xix.ai
聊天機器人 AI多智慧體編排器:透過自然語言設計複雜的自動化工作流程
AI多智慧體編排器:透過自然語言設計複雜的自動化工作流程

2026最新資訊:探索最優秀的人工智慧多智慧體協調工具,透過自然語言設計複雜的自動化工作流程。我們精心挑選的列表中包含了評分最高、功能強大的平臺,這些平臺能夠實現無縫的任務自動化和智慧化的流程管理。對比免費與付費選項,並瞭解實際應用中的效果。藉助XIX.AI每週更新的專家排名,讓你在人工智慧領域取得領先優勢。

10 個工具
xix.ai
評論 (0)
0/500
OR