阿里巴巴旗下阿里云发布Fun-CineForge:开源电影级配音模型及数据集
近日,由阿里巴巴通意实验室语音团队与中国科学技术大学合作开发的Fun-CineForge项目已正式开源。该项目通过引入全面的端到端制作工作流和大型模型解决方案,致力于解决影视配音中的核心挑战,例如口型同步、语音风格迁移和情感表达。

核心突破:解决影视配音中的“对口型”难题
传统AI配音常面临口型不匹配、情感表达生硬,以及难以适应涉及对话和多人声场的复杂电影场景等问题。Fun-CineForge通过两项关键创新实现了重大突破:
MLLM配音模型:超越简单的唇部区域音视频对齐,采用多模态大型语言模型(MLLM)架构,能够深度理解角色身份及场景中的情感细微差别。
CineDub大规模数据集:该项目通过自动化管道创建了首个标注详尽的中文电视剧配音数据集,涵盖独白、旁白、对话及多方对话等丰富场景。
项目进展与开源路线图
该项目近期更新频繁,表明其工程成熟度较高:
2026年1月至3月:发布了中文(CineDub-CN)和英语(CineDub-EN)的样本数据集及演示程序。
2026年3月16日:正式开源推理代码和模型权重(Checkpoints),开发者可在GitHub上获取这些资源。
数据集访问:现已开放多个经典剧集数据集供研究使用,包括中文剧集《红楼梦》和英文剧集《唐顿庄园》。
技术应用:从“对话”到“表演”
官方演示显示,该模型在重制《三国演义》等经典剧集时表现出色。通过输入特定的“情感线索”,模型能够精准捕捉角色情绪的转变——从恐惧到反抗——实现高保真的声音克隆和自然的唇形同步。
Fun-CineForge的推出标志着影视AI配音技术正从基础的“文本转语音”向具备艺术理解能力的“自动化后期制作”工具转变。这一进步有望大幅降低影视配音内容的制作成本。
项目:https://funcineforge.github.io/
相关文章
北京工业大学就包括人工智能模型上下文协议在内的121项行业标准征求公众意见
中国工业和信息化部正式发布通知,征求公众对121项行业标准化的意见,其中包括“人工智能安全治理模型上下文协议的应用安全要求”。这一公告标志着中国在建立人工智能基础标准和安全监管框架方面取得了重要进展。此次公开征求意见的重点是针对该模型上下文协议的应用安全问题,旨在通过标准化的技术规范来解决多模态交互、长文本处理以及跨平台调用过程中出现的协议兼容性和数据安全方面的问题。
OpenAI与美国国防部合作,ChatGPT的卸载数量激增了295%
公众愤怒:OpenAI的军事合作引发“卸载潮”近日,人工智能领域的领头羊OpenAI宣布与美国国防部建立了深度合作关系,将其人工智能模型整合到高度机密的军事网络中。这一消息在美国引发了广泛的用户抗议,“抵制ChatGPT”运动势头日益强劲。根据市场分析机构Sensor Tower的数据,2026年2月28日——OpenAI正式宣布这一合作的当天——美国市场上ChatGPT移动应用的卸载率比前一天激增了295%,而此前该应用的平均每日卸载率约为9%。用户们对人工智能被用于军事目的表示强烈担忧,
OpenAI 推出“Sites”功能,以基于文本的网站标志着“无代码时代”的终结
OpenAI 推出了 Sites,这是其面向软件工程的人工智能平台 Codex 的一项新功能。该功能目前处于预览阶段,仅向付费的“商业版”和“企业版”订阅用户开放,旨在消除网页和应用程序开发中的传统障碍。从本质上讲,Sites 是一个将抽象概念转化为实用工具的平台。用户可以输入概念、数据分析或项目计划,Codex 会自动将这些静态内容重构为仪表盘、日程规划器、评审工作区、项目看板以及轻量级应用程序
相关专题推荐
评论 (0)
0/500
近日,由阿里巴巴通意实验室语音团队与中国科学技术大学合作开发的Fun-CineForge项目已正式开源。该项目通过引入全面的端到端制作工作流和大型模型解决方案,致力于解决影视配音中的核心挑战,例如口型同步、语音风格迁移和情感表达。

核心突破:解决影视配音中的“对口型”难题
传统AI配音常面临口型不匹配、情感表达生硬,以及难以适应涉及对话和多人声场的复杂电影场景等问题。Fun-CineForge通过两项关键创新实现了重大突破:
MLLM配音模型:超越简单的唇部区域音视频对齐,采用多模态大型语言模型(MLLM)架构,能够深度理解角色身份及场景中的情感细微差别。
CineDub大规模数据集:该项目通过自动化管道创建了首个标注详尽的中文电视剧配音数据集,涵盖独白、旁白、对话及多方对话等丰富场景。
项目进展与开源路线图
该项目近期更新频繁,表明其工程成熟度较高:
2026年1月至3月:发布了中文(CineDub-CN)和英语(CineDub-EN)的样本数据集及演示程序。
2026年3月16日:正式开源推理代码和模型权重(Checkpoints),开发者可在GitHub上获取这些资源。
数据集访问:现已开放多个经典剧集数据集供研究使用,包括中文剧集《红楼梦》和英文剧集《唐顿庄园》。
技术应用:从“对话”到“表演”
官方演示显示,该模型在重制《三国演义》等经典剧集时表现出色。通过输入特定的“情感线索”,模型能够精准捕捉角色情绪的转变——从恐惧到反抗——实现高保真的声音克隆和自然的唇形同步。
Fun-CineForge的推出标志着影视AI配音技术正从基础的“文本转语音”向具备艺术理解能力的“自动化后期制作”工具转变。这一进步有望大幅降低影视配音内容的制作成本。
项目:https://funcineforge.github.io/
北京工业大学就包括人工智能模型上下文协议在内的121项行业标准征求公众意见
中国工业和信息化部正式发布通知,征求公众对121项行业标准化的意见,其中包括“人工智能安全治理模型上下文协议的应用安全要求”。这一公告标志着中国在建立人工智能基础标准和安全监管框架方面取得了重要进展。此次公开征求意见的重点是针对该模型上下文协议的应用安全问题,旨在通过标准化的技术规范来解决多模态交互、长文本处理以及跨平台调用过程中出现的协议兼容性和数据安全方面的问题。
OpenAI与美国国防部合作,ChatGPT的卸载数量激增了295%
公众愤怒:OpenAI的军事合作引发“卸载潮”近日,人工智能领域的领头羊OpenAI宣布与美国国防部建立了深度合作关系,将其人工智能模型整合到高度机密的军事网络中。这一消息在美国引发了广泛的用户抗议,“抵制ChatGPT”运动势头日益强劲。根据市场分析机构Sensor Tower的数据,2026年2月28日——OpenAI正式宣布这一合作的当天——美国市场上ChatGPT移动应用的卸载率比前一天激增了295%,而此前该应用的平均每日卸载率约为9%。用户们对人工智能被用于军事目的表示强烈担忧,
OpenAI 推出“Sites”功能,以基于文本的网站标志着“无代码时代”的终结
OpenAI 推出了 Sites,这是其面向软件工程的人工智能平台 Codex 的一项新功能。该功能目前处于预览阶段,仅向付费的“商业版”和“企业版”订阅用户开放,旨在消除网页和应用程序开发中的传统障碍。从本质上讲,Sites 是一个将抽象概念转化为实用工具的平台。用户可以输入概念、数据分析或项目计划,Codex 会自动将这些静态内容重构为仪表盘、日程规划器、评审工作区、项目看板以及轻量级应用程序





首页






