Elevenlabs revela um novo modelo de fala para texto

ElevenLabs, uma startup de IA que recentemente garantiu impressionantes $180 milhões em financiamento, é famosa por suas habilidades de geração de áudio. Mas agora, eles deram um passo ousado em novo território ao lançar seu primeiro modelo independente de fala para texto, chamado Scribe.

Avaliada em $3,3 bilhões, a ElevenLabs tem sido a escolha de muitas empresas que precisam de serviços de texto para fala, graças à sua vasta coleção de vozes. Agora, eles estão mirando na detecção de fala, com o objetivo de enfrentar grandes nomes como Gladia, Speechmatics, AssemblyAI, Deepgram e os modelos Whisper da OpenAI.

O Scribe não está brincando — ele suporta mais de 99 idiomas logo de cara. A ElevenLabs diz que ele tem excelente precisão para mais de 25 idiomas, com uma taxa de erro de palavras inferior a 5%. Estamos falando de inglês (com uma precisão declarada de 97%), francês, alemão, hindi, indonésio, japonês, canará, malaiala, polonês, português, espanhol e vietnamita, entre outros. Os demais se enquadram em diferentes categorias de precisão: alta (taxa de erro de palavras de 5% a 10%), boa (taxa de erro de palavras de 10% a 20%) e moderada (25% a 50%).

A empresa afirma que o Scribe supera o Google Gemini 2.0 Flash e o Whisper Large V3 em vários idiomas, de acordo com os testes de benchmark FLEURS & Common Voice.

A ElevenLabs na verdade construiu a parte de fala para texto para sua plataforma de agente conversacional de IA no último ano, mas o Scribe é sua primeira tentativa em um modelo independente de detecção de fala. Em uma conversa com a TechCrunch no último mês, o CEO Mati Staniszewski revelou os planos de fortalecer sua tecnologia de detecção de fala.

"Queremos melhorar na compreensão do que você está dizendo em uma conversa. Não se trata mais apenas de gerar conteúdo; estamos avançando para entender e transcrever a fala," disse Staniszewski. "Muitas pessoas pensam que fala para texto é algo ultrapassado, mas para muitos idiomas, ainda é bastante complicado. Achamos que podemos fazer melhor porque temos equipes internas para rotular dados e nos dar feedback rápido."

O Scribe também tem alguns recursos legais, como diarização inteligente de falantes para identificar quem está falando, carimbos de tempo no nível da palavra para legendas precisas e marcação automática de eventos sonoros, como risadas do público. Além disso, a ElevenLabs está permitindo que os clientes transcrevam diretamente conteúdo de vídeo para adicionar legendas ou captions em seu estúdio.

Por enquanto, o Scribe funciona apenas com áudio pré-gravado. Mas não se preocupe, a empresa diz que está trabalhando em uma versão em tempo real de baixa latência em breve. Portanto, ainda não está pronto para transcrições de reuniões ou anotações por voz.

A ElevenLabs está cobrando $0,40 por hora de áudio transcrito para o Scribe. É um preço competitivo, mas alguns concorrentes estão oferecendo taxas mais baratas para transcrições de áudio, com alguns recursos diferentes incluídos.