Handy Creator 发布了 transcribe.cpp：支持 60 多种模型、GPU 加速，并提供即插即用的转录替代方案

本地语音转录功能长期以来一直让开发者面临一个令人头疼的选择：在 whisper.cpp 和 ONNX 之间权衡取舍，并为苹果设备添加 MLX，这导致了维护两套引擎以及分别移植模型的负担。 7月19日，广受欢迎的语音转文本应用Handy的创建者和维护者sebjones，将这些跨平台部署的难题转化为transcribe.cpp，并发布了v0.1.0版本。该库基于ggml构建，支持所有当前的转录模型。 Hugging Face 上 handy-computer 组织发布的每个模型均已通过数值验证和词错误率（WER）测试，确保与官方参考实现保持一致。作者承认这是一个早期版本（v0.1.0），可能存在一些不完善之处，并邀请社区提供反馈以推动改进。

transcribe.cpp 的诞生源于使用现有 ASR 技术栈分发跨平台应用时所面临的痛苦现实——这些技术栈往往带来不尽如人意的用户体验。虽然有些库声称支持多模型，但其来历不明且测试过程不透明，导致关键问题悬而未决：更新是否会停止？是否有适用于桌面或移动应用的官方绑定？这仅仅是演示代码吗？ 与 ONNX 相比，其性能表现如何？在为 Handy 寻求解决方案时，作者需要一个能够直接下载模型并进行与参考结果匹配的推理、利用 GPU 加速、无需 PyTorch 等繁重依赖即可无缝集成，并且支持 Mac、Windows 和 Linux 的库。 经过多方评估，ggml 凭借其强大的社区支持和分发能力，被证明是理想的基础框架。

transcribe.cpp 提供了一个快速、准确的推理引擎，具有广泛的模型覆盖范围，支持 16 个 ASR 系列和 60 多个模型，且更多模型正在开发中。 加速通过四种 GPU 路径实现：Vulkan、Metal、CUDA 和 TinyBLAS。作者将 Vulkan 作为本地推理的基准，在 Ryzen 4750U（Fedora）和 M4 Max 上对每个模型进行了基准测试。 每个模型都经过了数值验证，并在数千个音频片段上进行了全面的词错误率（WER）扫描，以确保输出结果与参考实现一致或高度吻合。这些结果可在 transcribe.cpp 代码库和相应的 Hugging Face 模型页面上公开查阅。 功能上，它支持流式和批量转录，可作为 whisper.cpp 的直接替代方案。由于 Handy 最初使用的是 whisper.cpp，作者确保了与该流行工具生成的 .bin 文件的兼容性，使 transcribe.cpp 能够直接运行这些文件。尽管部分标志设置仍存在不一致，但 whisper 的实现对于大多数用例而言依然可靠，且性能相当。

鉴于实际应用需要强大的语言绑定，该库从一开始就将此作为优先事项。transcribe.cpp 采用 C/C++ 编写，并提供了 Python、JavaScript/TypeScript、Rust 以及 Objective-C/Swift 的官方绑定。 受 Handy 的成功以及广泛推广本地语音转录需求的驱动，作者欢迎社区为其他语言提供贡献。这些绑定满足了将语音功能集成到流行应用程序中的实际需求。

transcribe.cpp 的最终目标是简化本地 ASR 的使用。由于在大多数设备上都能实现高准确率，因此无需再将数据传输至云端。 作者强调了其高效性：即使在 RK3566 芯片等低功耗硬件上，transcribe.cpp 在 CPU 上的模型运行速度也快于实时处理，并且借助先进模型，能够以极低的功耗实现实时转录。 随着隐私和延迟问题的日益凸显，本地推理正逐渐普及，但分布式处理仍是一大关键挑战。尽管 transcribe.cpp 未能解决所有问题，但它在使本地语音处理更易用、更高效方面迈出了重要一步。

作者向主要贡献者表示感谢：Mozilla AI 及其 BiR 项目，以及工程师 Davide，感谢他们提供的早期支持；ggml 及其社区，他们为该项目奠定了基础；Modal，感谢其为 WER 测试和 CUDA 验证提供的计算积分； Blacksmith，负责处理部分 CI/CD 管道；以及 Hugging Face——作为本地 AI 社区的中流砥柱，为“便携计算机组织”的模型提供了私有存储空间。 关于开发过程中是否使用了 AI 辅助，作者确认确实使用了 AI 辅助，但强调所有文本均非由 AI 生成；所有内容均为手动撰写，并指出若没有此类支持，仅凭 ggml 仅凭数月时间就打造出如此规模的引擎是不可能的。

原文链接：workshop.cjpais.com/projects/transcribe-cpp