opción
Hogar
Noticias
El modelo TTS de código abierto OmniVoice de Xiaomi permite la clonación sin entrenamiento previo en más de 600 idiomas

El modelo TTS de código abierto OmniVoice de Xiaomi permite la clonación sin entrenamiento previo en más de 600 idiomas

8 de mayo de 2026
198

Recientemente, el equipo de Kaldi de última generación (k2-fsa) de Xiaomi ha publicado oficialmente en código abierto OmniVoice, un modelo multilingüe de síntesis de voz sin entrenamiento previo (zero-shot) a gran escala que admite más de 600 idiomas. Este modelo alcanza resultados de vanguardia en múltiples pruebas comparativas clave para la síntesis en chino, inglés y en varios idiomas, lo que supone un avance significativo en este campo.

Rendimiento líder: WER en chino de tan solo el 0,84 %, superando a los modelos convencionales en pruebas multilingües

En el conjunto de pruebas Seed-TTS en chino, OmniVoice alcanza una tasa de error de palabras (WER) notablemente baja, de tan solo el 0,84 %. En las evaluaciones multilingües, sus puntuaciones de similitud (SIM-o) y WER superan a las de modelos comerciales muy conocidos como ElevenLabs v2 y MiniMax, lo que demuestra una naturalidad y claridad del habla excepcionales.

image.png

Inferencia ultrarrápida: RTF de tan solo 0,025, 40 veces más rápido que el tiempo real

OmniVoice cuenta con un factor de tiempo real (RTF) de tan solo 0,025, lo que significa que su velocidad de síntesis supera con creces los requisitos de tiempo real. Esta enorme ganancia en eficiencia permite la generación rápida de discurso de formato largo en aplicaciones prácticas, mejorando considerablemente la experiencia del usuario.

Innovación arquitectónica fundamental: diseño discreto no autorregresivo inspirado en modelos de difusión

OmniVoice emplea una novedosa arquitectura discreta no autorregresiva inspirada en los modelos de lenguaje de difusión. Genera voz a partir de texto en un solo paso, sin pasar por los tokens semánticos intermedios tradicionales. Este diseño optimizado simplifica el proceso de trabajo al tiempo que mantiene una alta calidad de salida. Una estrategia de enmascaramiento aleatorio del libro de códigos completo, combinada con la inicialización de un LLM preentrenado, aumenta aún más la eficiencia del entrenamiento y mejora la claridad y la inteligibilidad del discurso final.

Clonación y personalización flexible de la voz: funciona con solo 3-10 segundos de audio

El modelo admite la clonación de voz de alta calidad sin entrenamiento previo utilizando solo entre 3 y 10 segundos de audio de referencia. Los usuarios también pueden personalizar los atributos de la voz mediante indicaciones en lenguaje natural, especificando el género, la edad, el tono, el acento, el dialecto e incluso efectos especiales como el susurro.

Gestiona símbolos no lingüísticos y control de pronunciación detallado

OmniVoice puede procesar símbolos no lingüísticos, como [risas], y admite la corrección de la pronunciación mediante pinyin o símbolos fonéticos. Esto lo hace especialmente adecuado para la síntesis precisa en chino y diversos dialectos.

Compatibilidad con más de 600 idiomas: contribuyendo a la preservación digital de lenguas minoritarias y en peligro de extinción

Una de las principales características de OmniVoice es su amplia cobertura lingüística, que admite de manera eficiente tanto los idiomas principales como numerosos idiomas con pocos recursos. En el caso de las lenguas minoritarias y en peligro de extinción, puede generar voz de alta calidad con muestras de datos mínimas, lo que ofrece un potencial significativo para la preservación digital de las lenguas y la protección cultural.

El código y los modelos preentrenados de OmniVoice son ahora de código abierto en GitHub y Hugging Face, lo que permite a los desarrolladores implementarlo localmente o integrarlo en aplicaciones. AIbase seguirá supervisando los comentarios de la comunidad y los casos de uso en el mundo real. Se anima a los desarrolladores a compartir sus experiencias.

Enlace al proyecto: https://github.com/k2-fsa/OmniVoice

Artículo relacionado
Las gafas inteligentes de Apple podrían debutar en la WWDC27, destacando la protección de la privacidad Las gafas inteligentes de Apple podrían debutar en la WWDC27, destacando la protección de la privacidad El informe de Mark Gurman de Bloomberg indica que las gafas inteligentes de Apple, con el nombre en código N50, están previstas para su presentación en la WWDC27 de junio de 2027, con un lanzamiento al público previsto para el otoño de 2027. Original
Dentro de los detalles revelados sobre el Gemini de próxima generación: Potencia de cálculo limitada, los equipos internos discreparon sobre las prioridades de desarrollo y la asignación de recursos Dentro de los detalles revelados sobre el Gemini de próxima generación: Potencia de cálculo limitada, los equipos internos discreparon sobre las prioridades de desarrollo y la asignación de recursos Los informes indican que el lanzamiento del tan esperado modelo Gemini de próxima generación de Google ha sido pospuesto. Los desacuerdos internos sobre las prioridades de desarrollo y la asignación de recursos, combinados con una capacidad de comput
OpenAI descarta preocupaciones por la desaceleración del crecimiento y afirma que múltiples unidades de negocio están acelerando OpenAI descarta preocupaciones por la desaceleración del crecimiento y afirma que múltiples unidades de negocio están acelerando En respuesta a la escrutinio externo sobre el desaceleramiento del crecimiento de las ventas y el incumplimiento de las metas internas, el líder en inteligencia artificial, OpenAI, emitió una declaración contundente el martes 28 de abril. La empresa
Recomendaciones de temas especiales relacionados
composicion musical Mejores herramientas de IA para escribir melodías en borradores de canciones
Mejores herramientas de IA para escribir melodías en borradores de canciones

2026 Últimas Mejores Herramientas de Escritura de Melodías con IA Mejor Valoradas para Borradores de Canciones. XIX.AI ha curado una colección altamente poderosa y transformadora que ha pasado por rigurosas pruebas en el mundo real para ofrecer la mejor experiencia de escritura. Puedes encontrar comparaciones detalladas entre versiones gratuitas y de pago, clasificaciones precisas y opciones imperdibles diseñadas para ayudarte a crear borradores de canciones impresionantes sin esfuerzo y aumentar significativamente tu productividad creativa. ¡Explora ahora para descubrir tu herramienta perfecta!

8 herramientas
xix.ai
chatbot Mejores herramientas de entrenamiento de conversación con IA para practicar entrevistas
Mejores herramientas de entrenamiento de conversación con IA para practicar entrevistas

¡Las mejores herramientas de entrenamiento de conversación con IA para prácticas de entrevistas más recientes y mejor valoradas de 2026 ya están disponibles en XIX.AI! Esta colección seleccionada incluye herramientas poderosas y transformadoras que han pasado por rigurosas pruebas en el mundo real para ofrecer retroalimentación precisa. Encontrarás una comparación entre opciones gratuitas y de pago, así como clasificaciones detalladas para ayudarte a elegir la opción imprescindible que aumente tu confianza y habilidades. ¡Explora ahora para descubrir tu herramienta perfecta para el éxito en las entrevistas!

12 herramientas
xix.ai
Diseño y Arte Las mejores herramientas de transferencia de estilos con IA para experimentos creativos
Las mejores herramientas de transferencia de estilos con IA para experimentos creativos

¡Las mejores herramientas de transferencia de estilo con IA de 2026, mejor valoradas para experimentos creativos! XIX.AI ha seleccionado una colección de herramientas potentes y revolucionarias que no te puedes perder, capaces de ofrecer resultados excepcionales según pruebas reales y clasificaciones rigurosas. Estas soluciones de primera categoría ayudan a los creativos a aumentar significativamente su productividad, acelerando la creación de contenidos y abriendo un sinfín de posibilidades creativas. ¡Explora ahora mismo para descubrir tu herramienta perfecta y empieza a crear hoy mismo!

9 herramientas
xix.ai
Creación de cómics Las mejores herramientas de burbujas de diálogo con IA para la narración visual
Las mejores herramientas de burbujas de diálogo con IA para la narración visual

¡Ya están aquí, en XIX.AI, las mejores herramientas de 2026 con las mejores valoraciones para crear bocadillos de diálogo con IA y contar historias visuales! Esta selección incluye potentes herramientas revolucionarias que ayudan a los creadores a aumentar su productividad y superar los bloqueos creativos. Consulta una comparación entre las versiones gratuitas y de pago, echa un vistazo a las pruebas en condiciones reales y revisa las últimas clasificaciones para encontrar las soluciones imprescindibles, perfectas para crear narrativas visuales cautivadoras. ¡Explora ahora mismo y descubre tu herramienta ideal!

10 herramientas
xix.ai
Asistente de reuniones Las mejores herramientas de resumen de reuniones con IA: realiza un seguimiento claro de las decisiones y las acciones de seguimiento
Las mejores herramientas de resumen de reuniones con IA: realiza un seguimiento claro de las decisiones y las acciones de seguimiento

Las mejores herramientas de resumen de reuniones con IA de 2026, mejor valoradas para un seguimiento claro de las decisiones y un seguimiento posterior sin esfuerzo. Esta lista seleccionada presenta soluciones potentes y revolucionarias que aumentan drásticamente la productividad al automatizar las notas de las reuniones, identificar las acciones clave y agilizar la coordinación del equipo en todos los proyectos. Consigue una comparación entre las versiones gratuitas y de pago, junto con pruebas en condiciones reales y clasificaciones actualizadas semanalmente, para ayudarte a encontrar la herramienta perfecta. ¡Explora ahora mismo y aprovecha las ventajas de la IA!

9 herramientas
xix.ai
Análisis de datos Mejores herramientas de limpieza de datos con IA: corrige valores faltantes y duplicados rápidamente
Mejores herramientas de limpieza de datos con IA: corrige valores faltantes y duplicados rápidamente

2026: Las mejores herramientas de limpieza de datos basadas en IA, mejor calificadas y más actualizadas, para corregir rápidamente valores faltantes y duplicados. Esta lista cuidadosamente seleccionada presenta soluciones potentes que transforman el trabajo y aumentan significativamente la productividad. Cada opción ha sido sometida a pruebas rigurosas en entornos reales para garantizar su fiabilidad. Obtenga una comparación gratuita entre las opciones gratuitas y de pago y descubra la herramienta imprescindible que mejor se adapte a sus necesidades. Explore ahora en XIX.AI para darle un vantaje con la inteligencia artificial.

11 herramientas
xix.ai
comentario (0)
0/500
OR