OpenAai atualiza seus modelos de AI de transcrição e geração de voz

O OpenAI está lançando novos modelos de IA para transcrição e geração de voz por meio de sua API, prometendo melhorias significativas em relação às versões anteriores. Essas atualizações fazem parte da maior visão "Agentic" da OpenAI, que se concentra na criação de sistemas autônomos capazes de executar tarefas de forma independente para os usuários. Embora o termo "agente" possa ser debatido, o chefe de produto da Openai, Olivier Godemement, o vê como um chatbot que pode interagir com os clientes de uma empresa.

"Vamos ver mais e mais agentes emergir nos próximos meses", compartilhou Godemement com o TechCrunch durante um briefing. "O objetivo abrangente é ajudar clientes e desenvolvedores a utilizar agentes úteis, acessíveis e precisos".

O mais recente modelo de texto em fala da OpenAI, apelidado de "GPT-4O-Mini-TTS", não pretende apenas produzir mais fala real e diferenciada, mas também é mais adaptável que seus antecessores. Os desenvolvedores agora podem orientar o modelo usando comandos de linguagem natural, como "falar como um cientista louco" ou "usar uma voz serena, como um professor de atenção plena". Esse nível de controle permite uma experiência de voz mais personalizada.

Aqui está uma amostra de uma voz "verdadeira de estilo criminal", desgastada:

E aqui está um exemplo de uma voz "profissional" feminina:

Jeff Harris, membro da equipe de produtos da Openai, enfatizou a TechCrunch que o objetivo é permitir que os desenvolvedores personalizem a voz "experiência" e "contexto". "Em vários cenários, você não quer uma voz monótona", explicou Harris. "Por exemplo, em uma configuração de suporte ao cliente em que a voz precisa parecer apologética por um erro, você pode infundir essa emoção na voz. Acreditamos firmemente que desenvolvedores e usuários desejam controlar não apenas o conteúdo, mas a maneira da fala".

Movendo-se para as novas ofertas de fala para texto do OpenAI, "GPT-4O-Transcrib" e "GPT-4O-Mini-transcribe", esses modelos estão configurados para substituir o modelo de transcrição sussurro desatualizado. Treinados em uma variedade diversificada de dados de áudio de alta qualidade, eles afirmam melhor lidar com uma fala acentuada e variada, mesmo em configurações barulhentas. Além disso, esses modelos são menos propensos a "alucinações", um problema em que o sussurro às vezes inventa palavras ou passagens inteiras, adicionando imprecisões como comentários raciais ou tratamentos médicos fictícios às transcrições.

"Esses modelos mostram melhorias significativas em relação ao sussurro a esse respeito", observou Harris. "Garantir que a precisão do modelo seja crucial para uma experiência de voz confiável e, com precisão, queremos dizer que os modelos capturam corretamente as palavras faladas sem adicionar conteúdo não anulado".

No entanto, o desempenho pode variar entre os idiomas. Os benchmarks internos do OpenAI indicam que o GPT-4O-Transcribil, mais preciso dos dois, tem uma "taxa de erro de palavra" quase 30% para idiomas indic e dravidianos como Tamil, Telugu, Malayalam e Kannada. Isso sugere que cerca de três em cada dez palavras podem diferir de uma transcrição humana nessas línguas.

Em um afastamento de sua prática habitual, o OpenAI não estará disponibilizando esses novos modelos de transcrição livremente. Historicamente, eles lançaram novas versões Whisper sob uma licença do MIT para uso comercial. Harris apontou que o GPT-4O-Transcribe e o GPT-4O-Mini-Transcribe são significativamente maiores que o sussurro, tornando-o inadequado para liberação aberta.

"Esses modelos são grandes demais para correr em um laptop típico como o Whisper", acrescentou Harris. "Quando lançamos modelos abertamente, queremos fazê-lo com pensamento, garantindo que eles sejam adaptados para necessidades específicas. Vemos dispositivos do usuário final como uma área privilegiada para modelos de código aberto".

Atualizado em 20 de março de 2025, 11:54 PT para esclarecer o idioma em torno da taxa de erro de palavras e atualizar o gráfico de resultados de referência com uma versão mais recente.