ElevenLabs раскрывает новую модель речи к тексту

ElevenLabs, стартап в области искусственного интеллекта, недавно получивший внушительные 180 миллионов долларов финансирования, известен своими навыками в создании аудио. Но теперь они сделали смелый шаг в новую область, запустив свою первую автономную модель преобразования речи в текст, названную Scribe.

Оцениваемая в 3,3 миллиарда долларов, ElevenLabs была предпочтительным выбором для многих компаний, нуждающихся в услугах преобразования текста в речь, благодаря их огромной коллекции голосов. Теперь они нацелились на распознавание речи, стремясь конкурировать с крупными именами, такими как Gladia, Speechmatics, AssemblyAI, Deepgram и моделями Whisper от OpenAI.

Scribe не шутит — он поддерживает более 99 языков с самого начала. ElevenLabs утверждает, что модель обладает отличной точностью для более чем 25 языков с уровнем ошибок по словам менее 5%. Речь идет об английском (с заявленной точностью 97%), французском, немецком, хинди, индонезийском, японском, каннада, малаялам, польском, португальском, испанском и вьетнамском, среди прочих. Остальные языки попадают в разные категории точности: высокая (уровень ошибок от 5% до 10%), хорошая (от 10% до 20%) и умеренная (от 25% до 50%).

Компания утверждает, что Scribe превосходит Google Gemini 2.0 Flash и Whisper Large V3 на нескольких языках согласно тестам FLEURS и Common Voice.

ElevenLabs фактически разработала компонент преобразования речи в текст для своей платформы conversational AI в прошлом году, но Scribe — это их первая попытка создания автономной модели распознавания речи. В разговоре с TechCrunch в прошлом месяце генеральный директор Мати Станишевски раскрыл планы по усилению их технологий распознавания речи.

"Мы хотим лучше понимать, что вы говорите в разговоре. Мы больше не только о создании контента; мы движемся к пониманию и транскрибированию речи," — сказал Станишевски. "Многие считают, что преобразование речи в текст — это старая новость, но для многих языков это всё ещё довольно сложно. Мы думаем, что можем сделать лучше, потому что у нас есть внутренние команды для маркировки данных и быстрой обратной связи."

У Scribe есть и крутые функции, такие как интеллектуальная диаризация спикеров, чтобы определить, кто говорит, временные метки на уровне слов для точных субтитров и автоматическая маркировка звуковых событий, таких как смех аудитории. Кроме того, ElevenLabs позволяет клиентам напрямую транскрибировать видеоконтент для добавления субтитров или подписей в их студии.

На данный момент Scribe работает только с предварительно записанным аудио. Но не волнуйтесь, компания говорит, что скоро появится версия с низкой задержкой для работы в реальном времени. Так что пока она не совсем готова для транскрибирования встреч или голосовых заметок.

ElevenLabs взимает 0,40 доллара за час транскрибированного аудио для Scribe. Это конкурентоспособная цена, но некоторые конкуренты предлагают более дешевые тарифы на транскрипцию аудио с несколькими дополнительными функциями.