Handy-Creator stellt transcribe.cpp vor: 60+ Modelle, GPU-Unterstützung und eine Plug-and-Play-Alternative zur Transkription

Die lokale Spracherkennung bot Entwicklern seit Langem eine frustrierende Wahl: Man musste zwischen whisper.cpp und ONNX wählen und MLX für Apple-Geräte hinzufügen, was die Last der Wartung zweier Engine-Sätze und das individuelle Portieren von Modellen zur Folge hatte. Am 19. Juli verwandelte sebjones, Ersteller und Maintainer der beliebten Spracherkennungs-App Handy, diese plattformübergreifenden Distributionsherausforderungen in transcribe.cpp und veröffentlichte Version v0.1.0. Diese Bibliothek, die auf ggml aufbaut, unterstützt alle aktuellen Transkriptionsmodelle. Jedes Modell der handy-computer-Organisation auf Hugging Face hat numerische Validierungen und Word Error Rate (WER)-Tests bestanden, was die Konsistenz mit offiziellen Referenzimplementierungen garantiert. Da es sich um eine frühe Veröffentlichung (v0.1.0) mit potenziellen Unschärfen handelt, lädt der Autor die Community ein, Feedback zu geben, um Verbesserungen voranzutreiben.

transcribe.cpp entstand aus der schmerzhaften Realität der Verteilung plattformübergreifender Anwendungen unter Verwendung bestehender ASR-Stacks, die oft eine minderwertige Benutzererfahrung liefern. Während einige Bibliotheken eine Multi-Modell-Unterstützung behaupten, lassen ihre obskuren Ursprünge und unklaren Tests kritische Fragen unbeantwortet: Werden Updates eingestellt? Gibt es offizielle Bindings für Desktop- oder Mobile-Apps? Ist dies nur Demo-Code? Wie schneidet es im Benchmark gegen ONNX ab? Auf der Suche nach einer Lösung für Handy benötigte der Autor eine Bibliothek, die direkte Modelldownloads und Inferenz ermöglicht, die Referenzausgaben entsprechen, GPU-Beschleunigung nutzt, sich nahtlos integriert, ohne schwere Abhängigkeiten wie PyTorch, und Mac, Windows und Linux unterstützt. Nach der Bewertung der Optionen erwies sich ggml aufgrund seiner robusten Community und Distributionsfähigkeiten als ideale Grundlage.

transcribe.cpp bietet eine schnelle, genaue Inferenz-Engine mit breiter Modellabdeckung, unterstützt 16 ASR-Familien und über 60 Modelle, wobei weitere folgen. Die Beschleunigung wird über vier GPU-Pfade erreicht: Vulkan, Metal, CUDA und TinyBLAS. Unter der Annahme, dass Vulkan die Basis für lokale Inferenz darstellt, benchmarkte der Autor jedes Modell auf einem Ryzen 4750U (Fedora) und einem M4 Max. Jedes Modell unterzog sich numerischen Validierungen und umfassenden WER-Scans über Tausende von Audioabschnitten, um sicherzustellen, dass die Ausgaben mit Referenzimplementierungen übereinstimmen oder eng damit übereinstimmen. Diese Ergebnisse sind öffentlich im transcribe.cpp-Repository und den entsprechenden Hugging Face-Modellseiten zugänglich. Funktional unterstützt es Streaming- und Batch-Transkription und dient als Drop-in-Ersatz für whisper.cpp. Da Handy ursprünglich whisper.cpp verwendete, stellte der Autor sicher, dass es mit den beliebten .bin-Dateien kompatibel ist, sodass transcribe.cpp diese direkt ausführen kann. Während einige Flags noch nicht vollständig übereinstimmen, ist die whisper-Implementierung für die meisten Anwendungsfälle zuverlässig und bietet vergleichbare Leistung.

Da der Autor erkennt, dass die reale Adoption robuste Sprachbindungen erfordert, wurde dies von Anfang an priorisiert. transcribe.cpp, geschrieben in C/C++, enthält offizielle Bindings für Python, JavaScript/TypeScript, Rust und Objective-C/Swift. Der Autor begrüßt Community-Beiträge für zusätzliche Sprachen, angetrieben durch den Erfolg von Handy und die Notwendigkeit, lokale Spracherkennung weit zu verbreiten. Diese Bindungen adressieren die praktischen Anforderungen der Integration von Sprachfunktionalität in beliebte Anwendungen.

Das ultimative Ziel von transcribe.cpp ist es, die lokale ASR-Nutzung zu vereinfachen. Da auf den meisten Geräten hohe Genauigkeit erreichbar ist, wird die Übertragung in die Cloud unnötig. Um seine Effizienz hervorzuheben, merkt der Autor an, dass transcribe.cpp auf Low-Power-Hardware wie dem RK3566-Chip Modelle schneller als in Echtzeit auf der CPU ausführt und Echtzeit-Transkription mit minimalem Stromverbrauch mit fortschrittlichen Modellen bewältigt. Da die lokale Inferenz aufgrund von Datenschutz- und Latenzbedenken wächst, bleibt die Verteilung eine zentrale Herausforderung. Obwohl transcribe.cpp nicht jedes Problem löst, stellt es einen bedeutenden Schritt vorwärts dar, um lokale Sprachverarbeitung zugänglich und effizient zu machen.

Der Autor spricht seinen Dank an wichtige Mitwirkende aus: Mozilla AI und ihr BiR-Projekt sowie Ingenieur Davide für die frühe Unterstützung; ggml und seine Community, die das Fundament des Projekts bildete; Modal, das Rechencredits für WER-Tests und CUDA-Verifizierung bereitstellte; Blacksmith, der einen Teil der CI/CD-Pipeline übernahm; und Hugging Face, eine Säule der lokalen KI-Community, die privaten Speicherplatz für die Modelle der handy-computer-Organisation bereitstellte. In Bezug auf KI-Hilfe bei der Entwicklung bestätigt der Autor deren Nutzung, betont jedoch, dass kein Text von KI generiert wurde; alle Inhalte wurden manuell verfasst, wobei er anmerkt, dass die Erstellung einer Engine dieses Umfangs in wenigen Monaten unter Verwendung von nur ggml ohne solche Unterstützung unmöglich wäre.

Original Link: workshop.cjpais.com/projects/transcribe-cpp