Lar
O modelo TTS de código aberto OmniVoice da Xiaomi permite a clonagem sem treinamento prévio em mais de 600 idiomas
Recentemente, a equipe da próxima geração do Kaldi (k2-fsa) da Xiaomi tornou oficialmente o OmniVoice um projeto de código aberto. Trata-se de um modelo multilíngue de conversão de texto em fala de grande escala, sem treinamento prévio, que suporta mais de 600 idiomas. Ele alcança resultados de ponta em vários benchmarks importantes para síntese em chinês, inglês e multilíngue, marcando um avanço significativo na área.
Desempenho de ponta: WER em chinês de apenas 0,84%, superando os modelos convencionais em testes multilíngues
No conjunto de testes Seed-TTS em chinês, o OmniVoice alcança uma taxa de erro de palavras (WER) notavelmente baixa, de apenas 0,84%. Em avaliações multilíngues, suas pontuações de similaridade (SIM-o) e WER superam modelos comerciais bem conhecidos, como o ElevenLabs v2 e o MiniMax, demonstrando naturalidade e clareza excepcionais na fala.
Inferência ultrarrápida: RTF de apenas 0,025, 40 vezes mais rápido que o tempo real
O OmniVoice apresenta um fator de tempo real (RTF) de apenas 0,025, o que significa que sua velocidade de síntese excede em muito os requisitos de tempo real. Esse enorme ganho de eficiência permite a geração rápida de fala de formato longo em aplicações práticas, melhorando significativamente a experiência do usuário.
Inovação arquitetônica central: design discreto não autorregressivo inspirado em modelos de difusão
O OmniVoice emprega uma nova arquitetura discreta não autorregressiva inspirada em modelos de linguagem de difusão. Ele gera fala a partir de texto em uma única etapa, contornando os tokens semânticos intermediários tradicionais. Esse design simplificado agiliza o fluxo de trabalho, mantendo a alta qualidade de saída. Uma estratégia de mascaramento aleatório do livro de códigos completo, combinada com a inicialização de LLM pré-treinado, aumenta ainda mais a eficiência do treinamento e melhora a clareza e a inteligibilidade da fala final.
Clonagem e personalização flexíveis de voz: funciona com apenas 3 a 10 segundos de áudio
O modelo suporta clonagem de voz de alta qualidade sem treinamento prévio, usando apenas 3 a 10 segundos de áudio de referência. Os usuários também podem personalizar atributos de voz por meio de comandos em linguagem natural, especificando gênero, idade, tom, sotaque, dialeto e até mesmo efeitos especiais, como sussurros.
Lida com símbolos não linguísticos e controle refinado de pronúncia
O OmniVoice pode processar símbolos não linguísticos, como [risos], e suporta correção de pronúncia por meio de pinyin ou símbolos fonéticos. Isso o torna particularmente adequado para síntese precisa em chinês e vários dialetos.
Suporte para mais de 600 idiomas: auxiliando na preservação digital de idiomas minoritários e ameaçados de extinção
Um dos principais destaques do OmniVoice é sua ampla cobertura de idiomas, oferecendo suporte eficiente tanto para idiomas de grande difusão quanto para inúmeros idiomas com poucos recursos. Para idiomas minoritários e em risco de extinção, ele pode gerar fala de alta qualidade com amostras mínimas de dados, oferecendo um potencial significativo para a preservação digital de idiomas e a proteção cultural.
O código e os modelos pré-treinados do OmniVoice agora estão disponíveis como código aberto no GitHub e no Hugging Face, permitindo que desenvolvedores o implantem localmente ou o integrem em aplicativos. A AIbase continuará monitorando o feedback da comunidade e os casos de uso no mundo real. Os desenvolvedores são incentivados a compartilhar suas experiências.
Link do projeto: https://github.com/k2-fsa/OmniVoice
Artigo relacionado
CEO da DeepMind, Hassabis: Durmo seis horas por dia, geralmente me sinto energético por volta da 1h
O Fortune recentemente publicou uma entrevista com Demis Hassabis, CEO da Google DeepMind, revelando sua abordagem incomum para descanso e produtividade. Hassabis revelou que dorme muito pouco, estruturando suas horas acordadas em dois blocos de trab
OpenAI e Anthropic disputam participação no mercado, apesar da queda na receita
Apesar de relatos recentes sugerirem que a OpenAI não atingiu suas metas de receita, o que gerou pressão sobre as ações do setor de tecnologia nesta terça-feira, os investidores privados em laboratóri
Conformidade com a regulamentação de veículos autônomos na Califórnia: uma nova era de multas, geocercas e 1 milhão de milhas
A Guident opera um veículo de transporte da AuveTech no sul da Flórida, administrando uma rota de quatro milhas em West Palm Beach e uma rota de uma milha em Boca Raton por meio de sua tecnologia de m
Recomendações de tópicos especiais relacionados
escrita
Ferramentas de IA para esboço de artigos em formato longo
2026: As melhores e mais bem avaliadas ferramentas de esboço com IA para redação de textos longos! Esta coleção selecionada apresenta ferramentas poderosas e revolucionárias que geram esboços precisos e estruturados, comprovados em testes reais, para aumentar significativamente a eficiência na redação. A XIX.AI faz parte dessa seleção de elite. Veja uma comparação entre as versões gratuita e paga para ajudá-lo a escolher a ferramenta perfeita. Explore agora e descubra sua vantagem com a IA!
9 ferramentas
xix.ai
chatbot
Melhores aplicativos de chat de interpretação de papéis com IA para prática de idiomas, preparação para entrevistas e fluência diária
2026 Últimas Melhores Aplicativos de Chat de Interpretação de Papéis por IA Mais Bem Avaliados para Prática de Idiomas, Preparação para Entrevistas e Fluência Diária! O XIX.AI seleciona uma poderosa coleção revolucionária que oferece comparação entre gratuito e pago, testes do mundo real e classificações atualizadas semanalmente. Essas ferramentas imperdíveis ajudam você a aprimorar suas habilidades de escrita, superar desafios de fluência e melhorar a eficiência da comunicação em todos os cenários diários. Explore agora para descobrir sua ferramenta perfeita para o crescimento do idioma!
10 ferramentas
xix.ai
Composição musical
Ferramentas de separação de stems com IA para produção de remixes, preparação de samples e masters de karaokê
As melhores e mais bem avaliadas ferramentas de separação de faixas com IA de 2026, selecionadas especialmente para produção de remixes, preparação de samples e masters de karaokê. Essas ferramentas poderosas e revolucionárias passaram por testes práticos para oferecer isolamento de áudio preciso, aumentando significativamente a produtividade. A XIX.AI oferece um guia comparativo entre versões gratuitas e pagas, atualizado semanalmente, para ajudá-lo a encontrar a solução imperdível que melhor atenda às suas necessidades. Explore agora para aproveitar ao máximo as vantagens da IA.
8 ferramentas
xix.ai
Análise de dados
Copilotos de IA para SQL voltados para painéis de receita, análise de funis e métricas de produtos
2026: Os melhores copilotos AI para SQL, atualizados e classificados entre os melhores! A XIX.AI reúne uma coleção poderosa e revolucionária, com testes em ambiente real atualizados semanalmente. Essas ferramentas indispensáveis ajudam a gerar painéis de controle de receita precisos, analisar funis de vendas e rastrear métricas de produtos de forma rápida, aumentando significativamente a produtividade. Explore agora e encontre a ferramenta perfeita para tomada de decisões baseadas em dados! 238 caracteres
9 ferramentas
xix.ai
Composição musical
Melhores Ferramentas de IA para Criação de Melodias para Rascunhos de Músicas
2026 Últimas Melhores Ferramentas de Escrita de Melodias por IA Mais Bem Avaliadas para Rascunhos de Músicas! A XIX.AI reuniu uma coleção altamente poderosa e transformadora, que passou por rigorosos testes no mundo real para oferecer a melhor experiência de escrita. Você pode encontrar comparações detalhadas entre as versões gratuita e paga, classificações precisas e opções imperdíveis projetadas para ajudá-lo a criar rascunhos de músicas impressionantes sem esforço e aumentar significativamente sua produtividade criativa. Explore agora para descobrir a ferramenta perfeita para você!
8 ferramentas
xix.ai
chatbot
Melhores ferramentas de treinamento de conversação com IA para prática de entrevistas
As melhores ferramentas de treinamento de conversação com IA mais recentes e altamente avaliadas para 2026, ideais para prática de entrevistas, estão disponíveis no XIX.AI! Esta coleção selecionada apresenta ferramentas poderosas e transformadoras, submetidas a rigorosos testes do mundo real para fornecer feedback preciso. Você encontrará uma comparação entre opções gratuitas e pagas, além de classificações detalhadas, para ajudá-lo a escolher a opção imperdível que aumenta sua confiança e habilidades. Explore agora para descobrir a ferramenta perfeita para o sucesso nas entrevistas!
12 ferramentas
xix.ai
Comentários (0)
Recentemente, a equipe da próxima geração do Kaldi (k2-fsa) da Xiaomi tornou oficialmente o OmniVoice um projeto de código aberto. Trata-se de um modelo multilíngue de conversão de texto em fala de grande escala, sem treinamento prévio, que suporta mais de 600 idiomas. Ele alcança resultados de ponta em vários benchmarks importantes para síntese em chinês, inglês e multilíngue, marcando um avanço significativo na área.
Desempenho de ponta: WER em chinês de apenas 0,84%, superando os modelos convencionais em testes multilíngues
No conjunto de testes Seed-TTS em chinês, o OmniVoice alcança uma taxa de erro de palavras (WER) notavelmente baixa, de apenas 0,84%. Em avaliações multilíngues, suas pontuações de similaridade (SIM-o) e WER superam modelos comerciais bem conhecidos, como o ElevenLabs v2 e o MiniMax, demonstrando naturalidade e clareza excepcionais na fala.
Inferência ultrarrápida: RTF de apenas 0,025, 40 vezes mais rápido que o tempo real
O OmniVoice apresenta um fator de tempo real (RTF) de apenas 0,025, o que significa que sua velocidade de síntese excede em muito os requisitos de tempo real. Esse enorme ganho de eficiência permite a geração rápida de fala de formato longo em aplicações práticas, melhorando significativamente a experiência do usuário.
Inovação arquitetônica central: design discreto não autorregressivo inspirado em modelos de difusão
O OmniVoice emprega uma nova arquitetura discreta não autorregressiva inspirada em modelos de linguagem de difusão. Ele gera fala a partir de texto em uma única etapa, contornando os tokens semânticos intermediários tradicionais. Esse design simplificado agiliza o fluxo de trabalho, mantendo a alta qualidade de saída. Uma estratégia de mascaramento aleatório do livro de códigos completo, combinada com a inicialização de LLM pré-treinado, aumenta ainda mais a eficiência do treinamento e melhora a clareza e a inteligibilidade da fala final.
Clonagem e personalização flexíveis de voz: funciona com apenas 3 a 10 segundos de áudio
O modelo suporta clonagem de voz de alta qualidade sem treinamento prévio, usando apenas 3 a 10 segundos de áudio de referência. Os usuários também podem personalizar atributos de voz por meio de comandos em linguagem natural, especificando gênero, idade, tom, sotaque, dialeto e até mesmo efeitos especiais, como sussurros.
Lida com símbolos não linguísticos e controle refinado de pronúncia
O OmniVoice pode processar símbolos não linguísticos, como [risos], e suporta correção de pronúncia por meio de pinyin ou símbolos fonéticos. Isso o torna particularmente adequado para síntese precisa em chinês e vários dialetos.
Suporte para mais de 600 idiomas: auxiliando na preservação digital de idiomas minoritários e ameaçados de extinção
Um dos principais destaques do OmniVoice é sua ampla cobertura de idiomas, oferecendo suporte eficiente tanto para idiomas de grande difusão quanto para inúmeros idiomas com poucos recursos. Para idiomas minoritários e em risco de extinção, ele pode gerar fala de alta qualidade com amostras mínimas de dados, oferecendo um potencial significativo para a preservação digital de idiomas e a proteção cultural.
O código e os modelos pré-treinados do OmniVoice agora estão disponíveis como código aberto no GitHub e no Hugging Face, permitindo que desenvolvedores o implantem localmente ou o integrem em aplicativos. A AIbase continuará monitorando o feedback da comunidade e os casos de uso no mundo real. Os desenvolvedores são incentivados a compartilhar suas experiências.
Link do projeto: https://github.com/k2-fsa/OmniVoice
CEO da DeepMind, Hassabis: Durmo seis horas por dia, geralmente me sinto energético por volta da 1h
O Fortune recentemente publicou uma entrevista com Demis Hassabis, CEO da Google DeepMind, revelando sua abordagem incomum para descanso e produtividade. Hassabis revelou que dorme muito pouco, estruturando suas horas acordadas em dois blocos de trab
OpenAI e Anthropic disputam participação no mercado, apesar da queda na receita
Apesar de relatos recentes sugerirem que a OpenAI não atingiu suas metas de receita, o que gerou pressão sobre as ações do setor de tecnologia nesta terça-feira, os investidores privados em laboratóri
Conformidade com a regulamentação de veículos autônomos na Califórnia: uma nova era de multas, geocercas e 1 milhão de milhas
A Guident opera um veículo de transporte da AuveTech no sul da Flórida, administrando uma rota de quatro milhas em West Palm Beach e uma rota de uma milha em Boca Raton por meio de sua tecnologia de m
2026: As melhores e mais bem avaliadas ferramentas de esboço com IA para redação de textos longos! Esta coleção selecionada apresenta ferramentas poderosas e revolucionárias que geram esboços precisos e estruturados, comprovados em testes reais, para aumentar significativamente a eficiência na redação. A XIX.AI faz parte dessa seleção de elite. Veja uma comparação entre as versões gratuita e paga para ajudá-lo a escolher a ferramenta perfeita. Explore agora e descubra sua vantagem com a IA!
9 ferramentas
xix.ai
2026 Últimas Melhores Aplicativos de Chat de Interpretação de Papéis por IA Mais Bem Avaliados para Prática de Idiomas, Preparação para Entrevistas e Fluência Diária! O XIX.AI seleciona uma poderosa coleção revolucionária que oferece comparação entre gratuito e pago, testes do mundo real e classificações atualizadas semanalmente. Essas ferramentas imperdíveis ajudam você a aprimorar suas habilidades de escrita, superar desafios de fluência e melhorar a eficiência da comunicação em todos os cenários diários. Explore agora para descobrir sua ferramenta perfeita para o crescimento do idioma!
10 ferramentas
xix.ai
As melhores e mais bem avaliadas ferramentas de separação de faixas com IA de 2026, selecionadas especialmente para produção de remixes, preparação de samples e masters de karaokê. Essas ferramentas poderosas e revolucionárias passaram por testes práticos para oferecer isolamento de áudio preciso, aumentando significativamente a produtividade. A XIX.AI oferece um guia comparativo entre versões gratuitas e pagas, atualizado semanalmente, para ajudá-lo a encontrar a solução imperdível que melhor atenda às suas necessidades. Explore agora para aproveitar ao máximo as vantagens da IA.
8 ferramentas
xix.ai
2026: Os melhores copilotos AI para SQL, atualizados e classificados entre os melhores! A XIX.AI reúne uma coleção poderosa e revolucionária, com testes em ambiente real atualizados semanalmente. Essas ferramentas indispensáveis ajudam a gerar painéis de controle de receita precisos, analisar funis de vendas e rastrear métricas de produtos de forma rápida, aumentando significativamente a produtividade. Explore agora e encontre a ferramenta perfeita para tomada de decisões baseadas em dados! 238 caracteres
9 ferramentas
xix.ai
2026 Últimas Melhores Ferramentas de Escrita de Melodias por IA Mais Bem Avaliadas para Rascunhos de Músicas! A XIX.AI reuniu uma coleção altamente poderosa e transformadora, que passou por rigorosos testes no mundo real para oferecer a melhor experiência de escrita. Você pode encontrar comparações detalhadas entre as versões gratuita e paga, classificações precisas e opções imperdíveis projetadas para ajudá-lo a criar rascunhos de músicas impressionantes sem esforço e aumentar significativamente sua produtividade criativa. Explore agora para descobrir a ferramenta perfeita para você!
8 ferramentas
xix.ai
As melhores ferramentas de treinamento de conversação com IA mais recentes e altamente avaliadas para 2026, ideais para prática de entrevistas, estão disponíveis no XIX.AI! Esta coleção selecionada apresenta ferramentas poderosas e transformadoras, submetidas a rigorosos testes do mundo real para fornecer feedback preciso. Você encontrará uma comparação entre opções gratuitas e pagas, além de classificações detalhadas, para ajudá-lo a escolher a opção imperdível que aumenta sua confiança e habilidades. Explore agora para descobrir a ferramenta perfeita para o sucesso nas entrevistas!
12 ferramentas
xix.ai
