Handy Creator presenta transcribe.cpp: más de 60 modelos, soporte para GPU y una alternativa de transcripción lista para usar

La transcripción local del habla ha presentado durante mucho tiempo a los desarrolladores con una opción frustrante: manejar whisper.cpp o ONNX, y añadir MLX para dispositivos Apple, lo que resulta en la carga de mantener dos conjuntos de motores y portar modelos individualmente. El 19 de julio, sebjones, creador y mantenedor de la popular aplicación de voz a texto Handy, transformó estos desafíos de distribución multiplataforma en transcribe.cpp, lanzando la versión v0.1.0. Construido sobre ggml, esta biblioteca admite todos los modelos de transcripción actuales. Cada modelo de la organización handy-computer en Hugging Face ha superado la validación numérica y las pruebas de tasa de error de palabras (WER), garantizando la consistencia con las implementaciones de referencia oficiales. Reconociendo que este es un lanzamiento temprano (v0.1.0) con posibles aristas ásperas, el autor invita a la retroalimentación de la comunidad para impulsar mejoras.

transcribe.cpp surgió de la dolorosa realidad de distribuir aplicaciones multiplataforma utilizando pilas de reconocimiento automático de voz (ASR) existentes, que a menudo ofrecen una experiencia de usuario deficiente. Aunque algunas bibliotecas afirman tener soporte para múltiples modelos, sus orígenes oscuros y pruebas poco claras dejan preguntas críticas sin responder: ¿Dejarán de recibir actualizaciones? ¿Existen enlaces oficiales para aplicaciones de escritorio o móviles? ¿Es este simplemente código de demostración? ¿Cómo se compara en pruebas de rendimiento con ONNX? Buscando una solución para Handy, el autor necesitaba una biblioteca que permitiera descargas directas de modelos e inferencia que coincidiera con los resultados de referencia, aprovechara la aceleración por GPU, se integrara sin problemas sin dependencias pesadas como PyTorch, y admitiera Mac, Windows y Linux. Tras evaluar las opciones, ggml resultó ser la base ideal debido a su sólida comunidad y capacidades de distribución.

transcribe.cpp ofrece un motor de inferencia rápido y preciso con amplia cobertura de modelos, admitiendo 16 familias de ASR y más de 60 modelos, con más en camino. La aceleración se logra mediante cuatro rutas de GPU: Vulkan, Metal, CUDA y TinyBLAS. Tratando a Vulkan como la línea base para la inferencia local, el autor realizó pruebas de rendimiento de cada modelo en un Ryzen 4750U (Fedora) y un M4 Max. Cada modelo pasó por validación numérica y un escaneo exhaustivo de WER en miles de segmentos de audio, asegurando que los resultados coincidan o se alineen estrechamente con las implementaciones de referencia. Estos resultados son de acceso público en el repositorio de transcribe.cpp y en las páginas correspondientes de modelos de Hugging Face. Funcionalmente, admite transcripción en streaming y por lotes, sirviendo como un reemplazo directo para whisper.cpp. Dado que Handy utilizaba originalmente whisper.cpp, el autor aseguró la compatibilidad con sus populares archivos .bin, permitiendo que transcribe.cpp los ejecute directamente. Aunque algunas banderas aún no están alineadas, la implementación de whisper es confiable para la mayoría de los casos de uso, con un rendimiento comparable.

Reconociendo que la adopción en el mundo real requiere enlaces de lenguaje robustos, la biblioteca priorizó esto desde el principio. Escrito en C/C++, transcribe.cpp incluye enlaces oficiales para Python, JavaScript/TypeScript, Rust y Objective-C/Swift. El autor acepta contribuciones de la comunidad para idiomas adicionales, impulsado por el éxito de Handy y la necesidad de distribuir ampliamente la transcripción local del habla. Estos enlaces abordan los requisitos prácticos de integrar funcionalidad de voz en aplicaciones populares.

El objetivo final de transcribe.cpp es simplificar el uso de ASR local. Con una alta precisión alcanzable en la mayoría de los dispositivos, la transmisión a la nube se vuelve innecesaria. Destacando su eficiencia, el autor señala que incluso en hardware de bajo consumo como el chip RK3566, transcribe.cpp ejecuta modelos más rápido que en tiempo real en la CPU, y maneja la transcripción en tiempo real con un consumo mínimo de energía utilizando modelos avanzados. A medida que la inferencia local crece debido a preocupaciones de privacidad y latencia, la distribución sigue siendo un desafío clave. Aunque transcribe.cpp no resuelve todos los problemas, representa un avance significativo hacia hacer que el procesamiento local del habla sea accesible y eficiente.

El autor extiende su gratitud a los colaboradores clave: Mozilla AI y su proyecto BiR, junto con el ingeniero Davide, por el apoyo temprano; ggml y su comunidad, que formaron la base del proyecto; Modal, por proporcionar créditos de computación para las pruebas de WER y la verificación de CUDA; Blacksmith, por gestionar parte del pipeline de CI/CD; y Hugging Face, un pilar de la comunidad de IA local que proporcionó espacio de almacenamiento privado para los modelos de la organización handy-computer. Con respecto a la asistencia de IA en el desarrollo, el autor confirma su uso pero enfatiza que no se generó texto por IA; todo el contenido fue escrito manualmente, señalando que crear un motor de esta escala en meses utilizando únicamente ggml sería imposible sin dicho apoyo.

Enlace original: workshop.cjpais.com/projects/transcribe-cpp