Handy Creatorが「transcribe.cpp」を公開：60以上のモデル、GPU対応、そしてプラグアンドプレイ式の文字起こしソリューション

ローカルでの音声文字変換において、開発者はかねてより悩ましい選択を迫られてきました。whisper.cppとONNXのどちらを使うか、さらにAppleデバイス向けにはMLXを追加する必要があり、その結果、2つのエンジンセットのメンテナンスや、モデルを個別に移植するという負担が生じていました。 7月19日、人気の音声文字変換アプリ「Handy」の作者兼メンテナンス担当であるsebjones氏は、こうしたクロスプラットフォーム展開の課題を解決する「transcribe.cpp」を開発し、バージョンv0.1.0をリリースしました。ggmlを基盤とするこのライブラリは、現在のすべての文字起こしモデルに対応しています。 Hugging Face上の「handy-computer」組織が提供するすべてのモデルは、数値検証および単語誤り率（WER）テストに合格しており、公式のリファレンス実装との整合性が保証されています。作者は、これが初期リリース（v0.1.0）であり、まだ不備がある可能性があることを認めつつ、改善に向けたコミュニティからのフィードバックを求めています。

transcribe.cppは、既存のASRスタックを使用したクロスプラットフォームアプリケーションの配布が、しばしば不十分なユーザー体験をもたらすという厳しい現実から生まれました。マルチモデル対応を謳うライブラリも存在しますが、その出所が不明確でテスト状況も不透明なため、重要な疑問が解消されません。更新は継続されるのか？デスクトップやモバイルアプリ向けの公式バインディングはあるのか？これは単なるデモコードに過ぎないのか？ ONNXと比較してパフォーマンスはどうか？ Handy向けのソリューションを模索していた著者は、モデルの直接ダウンロードとリファレンス出力に一致する推論を可能にし、GPUアクセラレーションを活用し、PyTorchのような重い依存関係なしにシームレスに統合でき、かつMac、Windows、Linuxをサポートするライブラリを必要としていました。 さまざまな選択肢を評価した結果、ggmlはその堅牢なコミュニティと配布能力により、理想的な基盤であることが判明しました。

transcribe.cppは、16のASRファミリーと60以上のモデルをサポートし、今後も追加が予定されている、広範なモデルをカバーする高速かつ正確な推論エンジンを提供します。 アクセラレーションは、Vulkan、Metal、CUDA、TinyBLASの4つのGPUパスを通じて実現されています。著者は、Vulkanをローカル推論のベースラインとして扱い、Ryzen 4750U（Fedora）およびM4 Max上で各モデルのベンチマークを実施しました。 すべてのモデルについて、数千の音声セグメントを対象とした数値検証と包括的なWERスキャンが実施され、出力がリファレンス実装と一致するか、あるいはそれに極めて近いことが確認されています。これらの結果は、transcribe.cppリポジトリおよび対応するHugging Faceのモデルページで公開されています。 機能面では、ストリーミングおよびバッチ転写をサポートしており、whisper.cppのドロップイン置換として機能します。Handyはもともとwhisper.cppを使用していたため、著者はその広く普及している.binファイルとの互換性を確保し、transcribe.cppでそれらを直接実行できるようにしました。一部のフラグは未対応のままですが、whisperの実装はほとんどのユースケースにおいて信頼性が高く、同等のパフォーマンスを発揮します。

実世界での普及には堅牢な言語バインディングが必要であることを認識し、このライブラリは当初からこれを優先して開発を進めてきました。C/C++で記述されたtranscribe.cppには、Python、JavaScript/TypeScript、Rust、およびObjective-C/Swift向けの公式バインディングが含まれています。 Handyの成功と、ローカルでの音声文字起こしを広く普及させる必要性から、著者は追加の言語に対するコミュニティからの貢献を歓迎しています。これらのバインディングは、人気のあるアプリケーションに音声機能を統合するための実用的な要件に対応しています。

transcribe.cppの最終的な目標は、ローカルでのASR利用を簡素化することです。ほとんどのデバイスで高い精度が得られるため、クラウドへの送信は不要になります。 その効率性を強調して、著者は、RK3566チップのような低消費電力のハードウェア上でも、transcribe.cppがCPU上でリアルタイムよりも高速にモデルを実行し、高度なモデルを使用することで最小限の電力消費でリアルタイムの文字起こしを処理できると述べています。 プライバシーや遅延の懸念からローカル推論が拡大する中、分散処理は依然として重要な課題となっています。transcribe.cppはすべての問題を解決するわけではありませんが、ローカル音声処理をアクセスしやすく、効率的なものにする上で大きな前進を意味しています。

著者は、主要な貢献者たちに感謝の意を表している。初期段階からの支援を提供してくれたMozilla AIとそのBiRプロジェクト、そしてエンジニアのDavide氏。プロジェクトの基盤を築いたggmlとそのコミュニティ。WERテストおよびCUDA検証のためのコンピューティングクレジットを提供してくれたModal。 CI/CDパイプラインの一部を処理してくれたBlacksmith；そして、ローカルAIコミュニティの柱であり、handy-computer組織のモデル用にプライベートストレージスペースを提供してくれたHugging Face。 開発におけるAI支援については、著者はその利用を認める一方で、テキストはAIによって生成されたものではないことを強調しています。すべての内容は手作業で執筆されたものであり、ggmlのみを使用して数ヶ月でこの規模のエンジンを構築することは、そのような支援なしには不可能であったと述べています。

元のリンク：workshop.cjpais.com/projects/transcribe-cpp