Openai升级其转录和发声的AI模型

OpenAI 正通过其 API 推出新的 AI 模型，用于转录和语音生成，承诺较早期版本有显著改进。这些更新是 OpenAI 更大“代理”愿景的一部分，专注于创建能够为用户独立执行任务的自主系统。虽然“代理”一词可能存在争议，但 OpenAI 的产品负责人 Olivier Godement 将其视为可与企业客户互动的聊天机器人。

“在未来几个月，我们将看到越来越多的代理出现，”Godement 在接受 TechCrunch 采访时表示。“总体目标是帮助客户和开发者使用有用、可访问且精准的代理。”

OpenAI 最新的文本转语音模型，名为“gpt-4o-mini-tts”，不仅旨在生成更逼真、更细腻的语音，而且比其前代模型更具适应性。开发者现在可以使用自然语言指令引导模型，例如“像疯狂科学家一样说话”或“使用平静的声音，像正念老师一样”。这种控制水平能够提供更个性化的语音体验。

以下是一个“真实犯罪风格”、饱经风霜的语音样本：

以下是一个女性“专业”语音的示例：

OpenAI 产品团队成员 Jeff Harris 向 TechCrunch 强调，目标是让开发者能够定制语音的“体验”和“语境”。“在不同场景中，你不希望语音单调，”Harris 解释道。“例如，在客户支持场景中，如果需要为错误表示歉意，你可以为语音注入那种情感。我们坚信，开发者和用户不仅想控制内容，还想控制语音表达的方式。”

至于 OpenAI 的新语音转文本产品，“gpt-4o-transcribe”和“gpt-4o-mini-transcribe”，这些模型将取代过时的 Whisper 转录模型。它们在多样化的高质量音频数据上训练，声称能更好地处理带口音和多样化的语音，即使在嘈杂环境中也能表现良好。此外，这些模型较少出现“幻觉”问题，即 Whisper 有时会凭空生成单词或整个段落，导致转录中出现种族评论或虚构医疗治疗等不准确内容。

“在这方面，这些模型比 Whisper 有显著改进，”Harris 指出。“确保模型的准确性对于可靠的语音体验至关重要，我们所说的准确性是指模型能正确捕捉所说的话，而不添加未说的内容。”

然而，不同语言的表现可能有所差异。OpenAI 的内部基准测试显示，gpt-4o-transcribe（两者中更精准的一个）在印度语系和达罗毗荼语系（如泰米尔语、泰卢固语、马拉雅拉姆语和卡纳达语）的“词错率”接近 30%。这意味着在这些语言中，每十个单词中大约有三个可能与人工转录不同。

与以往惯例不同，OpenAI 不会免费提供这些新转录模型。此前，他们以 MIT 许可发布新版 Whisper 供商业使用。Harris 指出，gpt-4o-transcribe 和 gpt-4o-mini-transcribe 比 Whisper 大得多，不适合公开发布。

“这些模型太大，无法像 Whisper 那样在普通笔记本电脑上运行，”Harris 补充道。“当我们公开模型时，我们希望谨慎行事，确保它们适合特定需求。我们认为终端用户设备是开源模型的主要领域。”

2025 年 3 月 20 日上午 11:54（太平洋时间）更新，以澄清词错率相关语言，并更新基准测试结果图表为更近期版本。