Handy creator가 transcribe.cpp를 공개하다: 60개 이상의 모델, GPU 지원 및 플러그 앤 플레이 방식의 전사 대안

로컬 음성 전사 작업은 오랫동안 개발자들에게 골치 아픈 선택지를 제시해 왔습니다. whisper.cpp나 ONNX 중 하나를 선택해야 하거나, Apple 기기를 위해 MLX를 추가해야 했으며, 이는 두 가지 엔진 세트를 유지하고 모델을 개별적으로 포트해야 하는 부담으로 이어졌습니다. 7월 19일, 인기 있는 음성-텍스트 변환 앱 Handy의 크리에이터이자 유지 관리자(sebjones)는 이러한 크로스플랫폼 배포의 어려움을 transcribe.cpp로 전환하고 버전 v0.1.0을 출시했습니다. ggml을 기반으로 구축된 이 라이브러리는 현재 모든 전사 모델을 지원합니다. Hugging Face의 handy-computer 조직에서 제공하는 모든 모델은 수치 검증 및 단어 오류율(WER) 테스트를 통과하여 공식 참조 구현과 일치함을 보장합니다. 이는 잠재적인 결함이 있을 수 있는 초기 버전(v0.1.0)임을 인정하며, 저자는 개선을 주도할 커뮤니티 피드백을 환영합니다.

transcribe.cpp는 기존 ASR 스택을 사용하여 크로스플랫폼 애플리케이션을 배포하는 고통스러운 현실에서 탄생했으며, 이는 종종 열악한 사용자 경험을 초래합니다. 일부 라이브러리가 다중 모델 지원을 주장하지만, 그 기원이 불분명하고 테스트가 명확하지 않아 다음과 같은 중요한 질문들이 해결되지 않습니다: 업데이트는 중단될 것인가? 데스크톱 또는 모바일 애플리케이션을 위한 공식 바인딩이 있는가? 이는 단순히 데모 코드인가? ONNX와 비교했을 때 벤치마크 결과는 어떠한가? Handy를 위한 솔루션을 찾던 저자는 참조 출력과 일치하는 추론을 직접 다운로드할 수 있는 모델을 제공하고, GPU 가속을 활용하며, PyTorch과 같은 무거운 의존성 없이 원활하게 통합되고 Mac, Windows, Linux를 지원하는 라이브러리가 필요했습니다. 옵션을 평가한 결과, 견고한 커뮤니티와 배포 능력을 갖춘 ggml이 이상적인 기반임이 입증되었습니다.

transcribe.cpp는 광범위한 모델 커버리지를 갖춘 빠르고 정확한 추론 엔진을 제공하며, 16개 ASR 패밀리와 60개 이상의 모델을 지원하며, 더 많은 모델이 추가될 예정입니다. 가속화는 Vulkan, Metal, CUDA, TinyBLAS의 네 가지 GPU 경로를 통해 달성됩니다. 로컬 추론을 위한 기준으로 Vulkan을 취급하며, 저자는 Ryzen 4750U(Fedora) 및 M4 Max에서 각 모델을 벤치마킹했습니다. 모든 모델은 수천 개의 오디오 세그먼트에 걸쳐 수치 검증 및 포괄적인 WER 스캔을 거쳐, 출력이 참조 구현과 일치하거나 밀접하게 일치함을 보장합니다. 이러한 결과는 transcribe.cpp 저장소 및 해당 Hugging Face 모델 페이지에서 공개적으로 접근할 수 있습니다. 기능적으로 스트리밍 및 배치 전사를 지원하며, whisper.cpp의 대체재로 사용됩니다. Handy가 원래 whisper.cpp를 사용했기 때문에, 저자는 인기 있는 .bin 파일과의 호환성을 보장하여 transcribe.cpp가 이를 직접 실행할 수 있도록 했습니다. 일부 플래그는 아직 정렬되지 않았지만, whisper 구현은 대부분의 사용 사례에 대해 신뢰할 수 있으며 유사한 성능을 보입니다.

현실적인 채택을 위해서는 견고한 언어 바인딩이 필요하다는 점을 인지하여, 라이브러리는 시작부터 이를 우선시했습니다. C/C++로 작성된 transcribe.cpp는 Python, JavaScript/TypeScript, Rust, Objective-C/Swift에 대한 공식 바인딩을 포함합니다. Handy의 성공과 로컬 음성 전사를 널리 배포할 필요성에 힘입어, 저자는 추가 언어에 대한 커뮤니티 기여를 환영합니다. 이러한 바인딩은 인기 있는 애플리케이션에 음성 기능을 통합하는 실용적인 요구를 해결합니다.

transcribe.cpp의 궁극적인 목표는 로컬 ASR 사용을 단순화하는 것입니다. 대부분의 기기에서 높은 정확도를 달성할 수 있으므로 클라우드 전송이 불필요해집니다. 효율성을 강조하며, 저자는 RK3566 칩과 같은 저전력 하드웨어에서도 transcribe.cpp가 CPU에서 실시간보다 빠르게 모델을 실행하고, 고급 모델을 사용하여 최소한의 전력 소비로 실시간 전사를 처리한다고 언급합니다. 프라이버시와 지연 시간 문제로 인해 로컬 추론이 증가함에 따라 배포는 여전히 주요 과제입니다. transcribe.cpp가 모든 문제를 해결하지는 않지만, 로컬 음성 처리를 접근 가능하고 효율적으로 만드는 데 있어 중요한 진전을 의미합니다.

저자는 주요 기여자들에게 감사를 표합니다: 초기 지원을 제공한 Mozilla AI 및 그 BiR 프로젝트와 엔지니어 Davide, 프로젝트의 기반을 형성한 ggml 및 그 커뮤니티, WER 테스트 및 CUDA 검증을 위한 컴퓨팅 크레딧을 제공한 Modal, CI/CD 파이프라인의 일부를 처리한 Blacksmith, 그리고 handy-computer 조직의 모델을 위한 프라이빗 저장 공간을 제공한 로컬 AI 커뮤니티의 기둥인 Hugging Face. 개발 과정에서의 AI 보조 사용에 관하여, 저자는 그 사용을 확인하지만 AI가 생성한 텍스트는 없으며 모든 콘텐츠는 수동으로 작성되었음을 강조합니다. 또한, ggml만 사용하여 이렇게 대규모의 엔진을 몇 달 안에 만드는 것은 그러한 지원 없이는 불가능했을 것이라고 언급합니다.

원본 링크: workshop.cjpais.com/projects/transcribe-cpp