首页小米的OmniVoice开源语音合成模型支持600多种语言的零样本克隆
近日，小米下一代Kaldi团队（k2-fsa）正式开源了OmniVoice——一款支持600多种语言的大型多语言零样本文本转语音模型。该模型在中文、英语及多语言合成等多项关键基准测试中均取得了业界领先的成绩，标志着该领域取得重大突破。
领先性能：中文WER低至0.84%，多语言测试中超越主流模型
在Seed-TTS中文测试集上，OmniVoice实现了仅0.84%的极低词错误率（WER）。在多语言评估中，其相似度（SIM-o）和WER得分均超越了ElevenLabs v2和MiniMax等知名商用模型，展现出卓越的语音自然度和清晰度。
超快推理：RTF低至0.025，速度比实时快40倍
OmniVoice的实时因子（RTF）低至0.025，这意味着其合成速度远超实时要求。这一巨大的效率提升使得在实际应用中能够快速生成长篇语音，极大提升了用户体验。
核心架构创新：受扩散模型启发的离散非自回归设计
OmniVoice 采用受扩散语言模型启发的创新离散非自回归架构。它通过单一步骤将文本转换为语音，省去了传统的中间语义令牌处理环节。这种精简设计在保持高输出质量的同时简化了处理流程。结合预训练大语言模型（LLM）的初始化，全码本随机掩码策略进一步提升了训练效率，并改善了最终语音的清晰度和可懂度。
灵活的语音克隆与定制：仅需 3-10 秒音频即可实现
该模型仅需3-10秒的参考音频，即可实现高质量的零样本语音克隆。用户还可通过自然语言提示自定义语音属性，指定性别、年龄、音高、口音、方言，甚至包括耳语等特殊效果。
支持非语言符号与精细发音控制
OmniVoice 能处理 [笑声] 等非语言符号，并支持通过拼音或音标进行发音校正。这使其特别适合中文及各类方言的精准合成。
支持 600 多种语言：助力少数民族语言和濒危语言的数字保存
OmniVoice 的核心亮点在于其广泛的语言覆盖范围，既能高效支持主流语言，也能支持大量资源匮乏的语言。对于少数民族语言和濒危语言，它仅需极少的样本数据即可生成高质量语音，为数字语言保存和文化保护提供了巨大潜力。
OmniVoice的源代码和预训练模型现已开源至GitHub和Hugging Face，开发者可将其部署在本地或集成到应用程序中。AIbase将持续关注社区反馈和实际应用案例，并鼓励开发者分享使用体验。
项目链接：https://github.com/k2-fsa/OmniVoice
相关文章
百度健康近期内部测试了AI医生助手“DoctorClaw”，用于学术文献检索和日常办公辅助
据报道，百度健康已开始对一款专为医生设计的专业AI智能助手进行内部测试。该产品内部代号为“DoctorClaw”（龙虾医生版），标志着百度在医疗领域部署大型语言模型方面迈出了重要一步。知情人士透露，该项目仍处于封闭开发阶段，目前已进入内部测试。虽然具体的产品形态尚未完全披露，但已接近上线。 在功能方面，DoctorClaw初期将侧重于学术文献检索和常规诊疗辅助。但其长期战略旨在深度融入临床诊断、医
Cursor Composer 2 与 Claude Opus 4.6：基准测试引发新一轮人工智能编程争论
3月19日，Cursor正式发布了其自主研发的编程模型Composer 2。 这一消息在开发者社区中立即引发热议——据 Cursor 称，Composer 2 在 Terminal-Bench 2.0 测试中获得了 61.7% 的得分，在相同的测试条件下，这一成绩显著超过了 Claude Opus 4.6 的 58.0%。Anthropic的旗舰模型竟被自家IDE内置的模型超越？随着消息传开，相关
StrictlyVC旧金山站将汇聚TDK Ventures、Replit等企业的领军人物
今年首场StrictlyVC活动即将登陆旧金山，时间比你想象的要早。 4月30日，我们在菲律宾文化中心（Sentro Filipino Cultural Center）举办的聚会门票仍在热售中，届时将有阵容强大的演讲嘉宾阵容。除了StrictlyVC一贯以人脉拓展和社区互动著称外，本次旧金山活动对于寻求最新融资洞见的AI创新者和创始人而言，将具有特别重要的价值。谁将登台门票现已开售，但如果您此前未
相关专题推荐
写作
最适合广播和播客使用的AI脚本编写工具：帮助您创作引人入胜的音频广告
在XIX.AI上，发现2026年最适合用于广播和播客制作的AI脚本工具。我们精心挑选的这些高评分工具能够提供强大的功能，帮助您快速制作出引人入胜的音频广告。通过实际测试和每周更新的排名，您可以了解免费选项与付费选项之间的差异。今天就释放您的创造力吧！
10 个工具
xix.ai
商业
最佳 AI 合同审查软件：即时发现法律漏洞与合规风险
在 XIX.AI 上探索 2026 年最佳 AI 合同审查软件。我们精心筛选的顶级榜单汇集了功能强大的工具，能够即时发现法律漏洞和合规风险。通过实际测试和每周更新的排名，对比免费与付费选项。找到能彻底改变游戏规则的解决方案，实现安全、高效的合同分析。立即探索这本权威指南。
10 个工具
xix.ai
动画创作
专为东华设计的AI动漫生成器：可用于创建网络小说角色及漫画头像
探索2026年最适合制作中文动画的人工智能工具。我们精心挑选的顶级列表中包含了各种强大的工具，能够帮助你创建出令人惊叹的网络小说角色和漫画头像。通过实际测试来对比免费选项和付费选项，找到最适合你的创作工具，今天就在XIX.AI上将你的故事变为现实吧。
10 个工具
xix.ai
漫画创作
漫画领域顶尖的AI自动上色工具：零一致性错误地应用平涂色彩
立即访问 XIX.AI，探索 2026 年最优秀的漫画 AI 自动上色工具。我们精心筛选的清单汇集了广受好评、颠覆行业的解决方案，这些工具能以零一致性错误的方式应用平涂色彩，从而大幅提升您的工作效率。通过免费版与付费版的对比分析、实际测试以及每周更新的排行榜，找到最适合您的工具。立即开启您的 AI 优势。
10 个工具
xix.ai
写作
顶尖 AI 角色设定生成器：生成一致的角色动机与致命缺陷
探索2026年最优秀的AI人物设定生成工具，助您塑造鲜活立体的角色。XIX.AI精心筛选的这份清单汇集了广受好评、颠覆传统的工具，能够生成具有内在逻辑的动机和致命缺陷。通过实际测试对比免费与付费选项。立即释放您的叙事潜能。
10 个工具
xix.ai
商业
顶级 AI 定价优化软件：追踪竞争对手并自动调整店铺价格
在 XIX.AI 上探索 2026 年最佳 AI 定价优化软件。我们精心挑选的清单汇集了备受好评、具有颠覆性意义的工具，这些工具不仅能追踪竞争对手，还能自动调整您的店铺价格，从而实现利润最大化。通过实际测试对比免费与付费选项。立即掌握您的定价优势。
10 个工具
xix.ai
评论 (0)
0/500
近日，小米下一代Kaldi团队（k2-fsa）正式开源了OmniVoice——一款支持600多种语言的大型多语言零样本文本转语音模型。该模型在中文、英语及多语言合成等多项关键基准测试中均取得了业界领先的成绩，标志着该领域取得重大突破。
领先性能：中文WER低至0.84%，多语言测试中超越主流模型
在Seed-TTS中文测试集上，OmniVoice实现了仅0.84%的极低词错误率（WER）。在多语言评估中，其相似度（SIM-o）和WER得分均超越了ElevenLabs v2和MiniMax等知名商用模型，展现出卓越的语音自然度和清晰度。
超快推理：RTF低至0.025，速度比实时快40倍
OmniVoice的实时因子（RTF）低至0.025，这意味着其合成速度远超实时要求。这一巨大的效率提升使得在实际应用中能够快速生成长篇语音，极大提升了用户体验。
核心架构创新：受扩散模型启发的离散非自回归设计
OmniVoice 采用受扩散语言模型启发的创新离散非自回归架构。它通过单一步骤将文本转换为语音，省去了传统的中间语义令牌处理环节。这种精简设计在保持高输出质量的同时简化了处理流程。结合预训练大语言模型（LLM）的初始化，全码本随机掩码策略进一步提升了训练效率，并改善了最终语音的清晰度和可懂度。
灵活的语音克隆与定制：仅需 3-10 秒音频即可实现
该模型仅需3-10秒的参考音频，即可实现高质量的零样本语音克隆。用户还可通过自然语言提示自定义语音属性，指定性别、年龄、音高、口音、方言，甚至包括耳语等特殊效果。
支持非语言符号与精细发音控制
OmniVoice 能处理 [笑声] 等非语言符号，并支持通过拼音或音标进行发音校正。这使其特别适合中文及各类方言的精准合成。
支持 600 多种语言：助力少数民族语言和濒危语言的数字保存
OmniVoice 的核心亮点在于其广泛的语言覆盖范围，既能高效支持主流语言，也能支持大量资源匮乏的语言。对于少数民族语言和濒危语言，它仅需极少的样本数据即可生成高质量语音，为数字语言保存和文化保护提供了巨大潜力。
OmniVoice的源代码和预训练模型现已开源至GitHub和Hugging Face，开发者可将其部署在本地或集成到应用程序中。AIbase将持续关注社区反馈和实际应用案例，并鼓励开发者分享使用体验。
项目链接：https://github.com/k2-fsa/OmniVoice
百度健康近期内部测试了AI医生助手“DoctorClaw”，用于学术文献检索和日常办公辅助
据报道，百度健康已开始对一款专为医生设计的专业AI智能助手进行内部测试。该产品内部代号为“DoctorClaw”（龙虾医生版），标志着百度在医疗领域部署大型语言模型方面迈出了重要一步。知情人士透露，该项目仍处于封闭开发阶段，目前已进入内部测试。虽然具体的产品形态尚未完全披露，但已接近上线。 在功能方面，DoctorClaw初期将侧重于学术文献检索和常规诊疗辅助。但其长期战略旨在深度融入临床诊断、医
Cursor Composer 2 与 Claude Opus 4.6：基准测试引发新一轮人工智能编程争论
3月19日，Cursor正式发布了其自主研发的编程模型Composer 2。 这一消息在开发者社区中立即引发热议——据 Cursor 称，Composer 2 在 Terminal-Bench 2.0 测试中获得了 61.7% 的得分，在相同的测试条件下，这一成绩显著超过了 Claude Opus 4.6 的 58.0%。Anthropic的旗舰模型竟被自家IDE内置的模型超越？随着消息传开，相关
StrictlyVC旧金山站将汇聚TDK Ventures、Replit等企业的领军人物
今年首场StrictlyVC活动即将登陆旧金山，时间比你想象的要早。 4月30日，我们在菲律宾文化中心（Sentro Filipino Cultural Center）举办的聚会门票仍在热售中，届时将有阵容强大的演讲嘉宾阵容。除了StrictlyVC一贯以人脉拓展和社区互动著称外，本次旧金山活动对于寻求最新融资洞见的AI创新者和创始人而言，将具有特别重要的价值。谁将登台门票现已开售，但如果您此前未
在XIX.AI上，发现2026年最适合用于广播和播客制作的AI脚本工具。我们精心挑选的这些高评分工具能够提供强大的功能，帮助您快速制作出引人入胜的音频广告。通过实际测试和每周更新的排名，您可以了解免费选项与付费选项之间的差异。今天就释放您的创造力吧！
10 个工具
xix.ai
在 XIX.AI 上探索 2026 年最佳 AI 合同审查软件。我们精心筛选的顶级榜单汇集了功能强大的工具，能够即时发现法律漏洞和合规风险。通过实际测试和每周更新的排名，对比免费与付费选项。找到能彻底改变游戏规则的解决方案，实现安全、高效的合同分析。立即探索这本权威指南。
10 个工具
xix.ai
探索2026年最适合制作中文动画的人工智能工具。我们精心挑选的顶级列表中包含了各种强大的工具，能够帮助你创建出令人惊叹的网络小说角色和漫画头像。通过实际测试来对比免费选项和付费选项，找到最适合你的创作工具，今天就在XIX.AI上将你的故事变为现实吧。
10 个工具
xix.ai
立即访问 XIX.AI，探索 2026 年最优秀的漫画 AI 自动上色工具。我们精心筛选的清单汇集了广受好评、颠覆行业的解决方案，这些工具能以零一致性错误的方式应用平涂色彩，从而大幅提升您的工作效率。通过免费版与付费版的对比分析、实际测试以及每周更新的排行榜，找到最适合您的工具。立即开启您的 AI 优势。
10 个工具
xix.ai
探索2026年最优秀的AI人物设定生成工具，助您塑造鲜活立体的角色。XIX.AI精心筛选的这份清单汇集了广受好评、颠覆传统的工具，能够生成具有内在逻辑的动机和致命缺陷。通过实际测试对比免费与付费选项。立即释放您的叙事潜能。
10 个工具
xix.ai
在 XIX.AI 上探索 2026 年最佳 AI 定价优化软件。我们精心挑选的清单汇集了备受好评、具有颠覆性意义的工具，这些工具不仅能追踪竞争对手，还能自动调整您的店铺价格，从而实现利润最大化。通过实际测试对比免费与付费选项。立即掌握您的定价优势。
10 个工具
xix.ai
