Criador do Handy revela o transcribe.cpp: mais de 60 modelos, suporte a GPU e uma alternativa pronta para uso à transcrição

A transcrição local de fala tem apresentado aos desenvolvedores uma escolha frustrante há muito tempo: lidar com whisper.cpp ou ONNX, e adicionar MLX para dispositivos Apple, resultando no ônus de manter dois conjuntos de motores e portar modelos individualmente. Em 19 de julho, sebjones, criador e mantenedor do popular aplicativo de fala para texto Handy, transformou esses desafios de distribuição multiplataforma em transcribe.cpp, lançando a versão v0.1.0. Construído sobre ggml, esta biblioteca suporta todos os modelos de transcrição atuais. Cada modelo da organização handy-computer no Hugging Face passou por validação numérica e testes de taxa de erro de palavra (WER), garantindo consistência com as implementações de referência oficiais. Reconhecendo que se trata de um lançamento inicial (v0.1.0) com possíveis imperfeições, o autor convida a comunidade a fornecer feedback para impulsionar melhorias.

transcribe.cpp surgiu da realidade dolorosa de distribuir aplicativos multiplataforma usando pilhas ASR existentes, que frequentemente entregam uma experiência de usuário abaixo do ideal. Embora algumas bibliotecas afirmem suportar múltiplos modelos, suas origens obscuras e testes pouco claros deixam perguntas críticas sem resposta: As atualizações cessarão? Existem ligações oficiais para aplicativos de desktop ou móvel? Isso é apenas código de demonstração? Como ele se compara em benchmarking ao ONNX? Buscando uma solução para o Handy, o autor precisava de uma biblioteca que permitisse downloads diretos de modelos e inferência correspondente às saídas de referência, aproveitasse a aceleração por GPU, integrasse-se sem dependências pesadas como PyTorch e suportasse Mac, Windows e Linux. Após avaliar as opções, ggml provou ser a base ideal devido à sua comunidade robusta e capacidades de distribuição.

transcribe.cpp oferece um motor de inferência rápido e preciso com ampla cobertura de modelos, suportando 16 famílias ASR e mais de 60 modelos, com mais por vir. A aceleração é alcançada por meio de quatro caminhos de GPU: Vulkan, Metal, CUDA e TinyBLAS. Tratando o Vulkan como a linha de base para inferência local, o autor fez benchmarking de cada modelo em um Ryzen 4750U (Fedora) e um M4 Max. Cada modelo passou por validação numérica e varredura abrangente de WER em milhares de segmentos de áudio, garantindo que as saídas correspondam ou se alinhem estreitamente com as implementações de referência. Esses resultados estão publicamente acessíveis no repositório transcribe.cpp e nas páginas correspondentes de modelos do Hugging Face. Funcionalmente, ele suporta transcrição em streaming e em lote, servindo como substituição direta para whisper.cpp. Como o Handy originalmente usava whisper.cpp, o autor garantiu a compatibilidade com seus populares arquivos .bin, permitindo que transcribe.cpp os executasse diretamente. Embora algumas sinalizações ainda não estejam alinhadas, a implementação whisper é confiável para a maioria dos casos de uso, com desempenho comparável.

Reconhecendo que a adoção no mundo real requer ligações de linguagem robustas, a biblioteca priorizou isso desde o início. Escrito em C/C++, transcribe.cpp inclui ligações oficiais para Python, JavaScript/TypeScript, Rust e Objective-C/Swift. O autor acolhe contribuições da comunidade para idiomas adicionais, impulsionado pelo sucesso do Handy e pela necessidade de distribuir a transcrição local de fala amplamente. Essas ligações atendem aos requisitos práticos de integração de funcionalidade de voz em aplicativos populares.

O objetivo final do transcribe.cpp é simplificar o uso de ASR local. Com alta precisão alcançável na maioria dos dispositivos, a transmissão em nuvem torna-se desnecessária. Destacando sua eficiência, o autor observa que mesmo em hardware de baixo consumo, como o chip RK3566, o transcribe.cpp executa modelos mais rápido que o tempo real na CPU e lida com transcrição em tempo real com consumo mínimo de energia usando modelos avançados. À medida que a inferência local cresce devido a preocupações com privacidade e latência, a distribuição permanece um desafio chave. Embora o transcribe.cpp não resolva todos os problemas, ele representa um avanço significativo na acessibilidade e eficiência do processamento local de fala.

O autor estende gratidão aos principais colaboradores: Mozilla AI e seu projeto BiR, junto com o engenheiro Davide, pelo suporte inicial; ggml e sua comunidade, que formaram a base do projeto; Modal, por fornecer créditos de computação para testes de WER e verificação CUDA; Blacksmith, por lidar com parte do pipeline CI/CD; e Hugging Face, um pilar da comunidade de IA local que forneceu espaço de armazenamento privado para os modelos da organização handy-computer. Em relação à assistência de IA no desenvolvimento, o autor confirma seu uso, mas enfatiza que nenhum texto foi gerado por IA; todo o conteúdo foi escrito manualmente, observando que criar um motor desta escala em meses usando apenas ggml seria impossível sem tal suporte.

Link original: workshop.cjpais.com/projects/transcribe-cpp