Handy creator представляет transcribe.cpp: 60+ моделей, поддержка GPU и готовое решение для транскрипции

Локальная транскрипция речи долгое время ставила разработчиков перед неприятным выбором: приходилось балансировать между whisper.cpp и ONNX, а для устройств Apple добавлять MLX, что в итоге приводило к необходимости поддерживать два набора движков и портировать модели по отдельности. 19 июля sebjones, создатель и сопровождающий популярного приложения для распознавания речи Handy, превратил эти проблемы кроссплатформенного распространения в transcribe.cpp, выпустив версию v0.1.0. Построенная на базе ggml, эта библиотека поддерживает все текущие модели транскрипции. Каждая модель от организации handy-computer на Hugging Face прошла численную валидацию и тестирование по уровню ошибки слов (WER), гарантируя соответствие официальным эталонным реализациям. Осознавая, что это ранний выпуск (v0.1.0) с потенциальными шероховатостями, автор приглашает сообщество предоставить обратную связь для улучшения проекта.

transcribe.cpp возник из болезненной реальности распространения кроссплатформенных приложений с использованием существующих стеков ASR, которые часто обеспечивают низкое качество пользовательского опыта. Хотя некоторые библиотеки заявляют о поддержке нескольких моделей, их неясное происхождение и отсутствие четкого тестирования оставляют важные вопросы без ответа: прекратятся ли обновления? Существуют ли официальные привязки для настольных или мобильных приложений? Это просто демонстрационный код? Как он показывает себя в бенчмарках по сравнению с ONNX? Ища решение для Handy, автору нужна была библиотека, позволяющая напрямую скачивать модели и выполнять вывод, соответствующий эталонным результатам, использовать ускорение GPU, интегрироваться без тяжелых зависимостей, таких как PyTorch, и поддерживать Mac, Windows и Linux. Оценив варианты, автор выбрал ggml в качестве идеальной основы благодаря ее сильному сообществу и возможностям распространения.

transcribe.cpp предлагает быстрый и точный движок вывода с широким охватом моделей, поддерживая 16 семейств ASR и более 60 моделей, при этом в разработке находятся новые. Ускорение достигается за счет четырех путей GPU: Vulkan, Metal, CUDA и TinyBLAS. Рассматривая Vulkan как базовый уровень для локального вывода, автор протестировал каждую модель на Ryzen 4750U (Fedora) и M4 Max. Каждая модель прошла численную валидацию и комплексное сканирование WER по тысячам аудиосегментов, гарантируя, что результаты совпадают или тесно соответствуют эталонным реализациям. Эти результаты публично доступны в репозитории transcribe.cpp и на соответствующих страницах моделей Hugging Face. Функционально библиотека поддерживает потоковую и пакетную транскрипцию, служа прямой заменой для whisper.cpp. Поскольку Handy изначально использовала whisper.cpp, автор обеспечил совместимость с ее популярными файлами .bin, позволяя transcribe.cpp запускать их напрямую. Хотя некоторые флаги еще не синхронизированы, реализация whisper надежна для большинства случаев использования, со сравнимой производительностью.

Понимая, что реальное внедрение требует надежных языковых привязок, библиотека уделяла этому приоритетное внимание с самого начала. Написанная на C/C++, transcribe.cpp включает официальные привязки для Python, JavaScript/TypeScript, Rust и Objective-C/Swift. Автор приветствует вклад сообщества в создание привязок для дополнительных языков, движимый успехом Handy и необходимостью широкого распространения локальной транскрипции речи. Эти привязки решают практические требования по интеграции голосовых функций в популярные приложения.

Конечная цель transcribe.cpp — упростить использование локальной ASR. Поскольку на большинстве устройств достигается высокая точность, передача данных в облако становится ненужной. Подчеркивая эффективность, автор отмечает, что даже на маломощном оборудовании, таком как чип RK3566, transcribe.cpp запускает модели быстрее реального времени на CPU и обрабатывает транскрипцию в реальном времени с минимальным потреблением энергии, используя продвинутые модели. Поскольку локальный вывод растет из-за проблем конфиденциальности и задержек, распространение остается ключевой проблемой. Хотя transcribe.cpp не решает все вопросы, это значительный шаг вперед в обеспечении доступности и эффективности локальной обработки речи.

Автор выражает благодарность ключевым участникам: Mozilla AI и ее проекту BiR, а также инженеру Davide, за раннюю поддержку; ggml и ее сообществу, которые составили основу проекта; Modal, предоставившему вычислительные кредиты для тестирования WER и проверки CUDA; Blacksmith, обработавшему часть конвейера CI/CD; и Hugging Face, столпу локального сообщества AI, предоставившему частное хранилище для моделей организации handy-computer. Что касается помощи ИИ в разработке, автор подтверждает ее использование, но подчеркивает, что никакой текст не был сгенерирован ИИ; все содержание было написано вручную, отмечая, что создание движка такого масштаба за несколько месяцев, используя только ggml, было бы невозможно без такой поддержки.

Оригинальная ссылка: workshop.cjpais.com/projects/transcribe-cpp