Handy 開發者公開 transcribe.cpp：內建 60 多種模型、支援 GPU，並提供即插即用的轉錄替代方案

本地語音轉錄功能長期以來都讓開發者面臨一個令人沮喪的抉擇：必須在 whisper.cpp 與 ONNX 之間權衡取捨，並為 Apple 裝置額外加入 MLX，這導致必須同時維護兩套引擎，並分別移植模型，造成額外負擔。 7月19日，熱門語音轉文字應用程式 Handy 的創作者暨維護者 sebjones，將這些跨平台部署的挑戰轉化為 transcribe.cpp，並發布了 v0.1.0 版本。此函式庫基於 ggml 建構，支援所有當前的轉錄模型。 Hugging Face 上 handy-computer 組織提供的每款模型均已通過數值驗證與單字錯誤率（WER）測試，確保與官方參考實作保持一致。作者承認這是一個早期版本（v0.1.0），可能尚有不完善之處，因此邀請社群提供回饋以推動改進。

transcribe.cpp 的誕生源於使用現有 ASR 堆疊進行跨平台應用程式發佈時所面臨的艱難現實，這些堆疊往往會帶來不盡理想的用戶體驗。雖然有些函式庫聲稱支援多模型，但其來歷不明且測試過程不透明，導致關鍵問題懸而未決：更新是否會中斷？是否有適用於桌面或行動應用程式的官方綁定？這是否僅僅是示範程式碼？ 與 ONNX 相比，其效能表現如何？為了為 Handy 尋找解決方案，作者需要一個能直接下載模型並進行與參考輸出相符的推論、能利用 GPU 加速、能無縫整合且不依賴 PyTorch 等龐大依賴項，並支援 Mac、Windows 和 Linux 的函式庫。 經過評估各種選項後，ggml 憑藉其強大的社群支持與分發能力，被證實是理想的基礎架構。

transcribe.cpp 提供了一個快速且精準的推理解析引擎，具備廣泛的模型涵蓋範圍，支援 16 個 ASR 家族及超過 60 種模型，且更多模型正在開發中。 加速是透過四種 GPU 路徑實現的：Vulkan、Metal、CUDA 以及 TinyBLAS。作者將 Vulkan 視為本地推論的基準，並在 Ryzen 4750U（Fedora）和 M4 Max 上對每個模型進行了效能測試。 每個模型均經過數值驗證，並針對數千個音訊片段進行全面的錯誤率（WER）掃描，確保輸出結果與參考實作相符或高度一致。這些結果可於 transcribe.cpp 儲存庫及對應的 Hugging Face 模型頁面中公開查閱。 功能上，它支援串流與批次轉錄，可作為 whisper.cpp 的直接替代方案。由於 Handy 原本使用 whisper.cpp，作者確保了與其廣受歡迎的 .bin 檔案的相容性，使 transcribe.cpp 能直接執行這些檔案。雖然部分參數設定仍未完全對齊，但 whisper 的實作在大多數使用情境下仍相當可靠，且效能相當。

鑑於實際應用需要穩健的語言綁定，該函式庫從一開始便將此列為優先事項。transcribe.cpp 採用 C/C++ 編寫，並包含 Python、JavaScript/TypeScript、Rust 以及 Objective-C/Swift 的官方綁定。 受 Handy 的成功案例以及廣泛推廣本地語音轉錄需求的驅動，作者歡迎社群為其他語言提供貢獻。這些綁定函式庫滿足了將語音功能整合至熱門應用程式的實際需求。

transcribe.cpp 的最終目標是簡化本地語音辨識（ASR）的使用。由於在大多數裝置上都能達到高準確度，因此無需透過雲端傳輸。 為凸顯其效率，作者指出，即使在 RK3566 晶片這類低功耗硬體上，transcribe.cpp 在 CPU 上的模型執行速度也快於即時處理，並能透過進階模型以極低的功耗處理即時轉錄。 隨著隱私與延遲問題日益受到重視，本地推論應用日益普及，而分佈式處理仍是一大關鍵挑戰。儘管 transcribe.cpp 未能解決所有問題，但它在使本地語音處理更易於使用且更高效方面，代表著重要的一步。

作者向主要貢獻者致謝：Mozilla AI 及其 BiR 專案，以及工程師 Davide，感謝他們在早期提供的支持；ggml 及其社群，為本專案奠定了基礎；Modal，感謝其提供用於 WER 測試和 CUDA 驗證的運算額度； Blacksmith 協助處理部分 CI/CD 管道；以及 Hugging Face——作為本地 AI 社群的中流砥柱，為「手邊電腦」組織的模型提供了私有儲存空間。 關於開發過程中是否使用 AI 輔助，作者確認確實有使用，但強調所有文字均非由 AI 生成；所有內容皆為手動撰寫，並指出若無此類支援，僅憑 ggml 要在數月內打造出此規模的引擎將是不可能的。

原始連結：workshop.cjpais.com/projects/transcribe-cpp