Hogar
El laboratorio Tongyi de Alibaba publica el código fuente de Fun-CineForge y resuelve el reto del doblaje con varios locutores
El doblaje de voz tradicional basado en IA suele quedarse corto en producciones de gran envergadura, como películas y animaciones, donde es fundamental captar los matices emocionales más sutiles y lograr una sincronización perfecta de los movimientos labiales. Para hacer frente a este reto fundamental del sector, Tongyi Lab ha lanzado oficialmente y ha puesto a disposición como código abierto el innovador modelo de doblaje multimodal y para múltiples escenarios con calidad cinematográfica: Fun-CineForge .
Salvar la brecha audiovisual: un marco de cuatro pilares para una sincronización perfecta
En lugar de basarse en la simple conversión de texto a voz, Fun-CineForge está diseñado para dominar cuatro dimensiones fundamentales del doblaje profesional:
Sincronización labial: garantiza que el habla sintetizada se alinee con los movimientos de la boca de los personajes en pantalla con una precisión excepcional.
Expresión emocional: infunde a la voz emociones auténticas y humanas mediante el análisis de las señales faciales y las instrucciones contextuales.
Consistencia vocal: mantiene una identidad vocal estable y reconocible para personajes específicos en escenas complejas de diálogo con múltiples interlocutores.
Alineación temporal: permite la inserción de diálogos con una precisión de milisegundos, incluso cuando el hablante está fuera de pantalla o parcialmente oculto.
Innovación fundamental: la pionera «modalidad temporal» y un conjunto de datos de alta fidelidad
El salto técnico de Fun-CineForge se deriva de su filosofía única de diseño conjunto de «datos + modelo»:
El conjunto de datos de alta calidad de CineDub: Tongyi Lab también ha abierto el código fuente del proceso automatizado de construcción del conjunto de datos de CineDub. Utilizando un mecanismo de corrección de errores de cadena de pensamiento, reduce las tasas de error de transcripción para textos en chino e inglés a aproximadamente un 1 % - 2 % y reduce los errores de diarización de hablantes hasta un 1,2 %.
Arquitectura de fusión de cuatro modalidades: El modelo es pionero en la integración de una «modalidad temporal», modelando conjuntamente entradas visuales (forma de los labios y expresión), texto (diálogo y contexto emocional) y audio (referencia de voz). Esta fusión permite una sincronización exacta en escenas complejas, incluidas aquellas en las que no se ven los rostros.
Excelencia demostrada: doblaje pionero de diálogos auténticos con múltiples personajes
Los resultados de las pruebas comparativas demuestran que Fun-CineForge supera sustancialmente a modelos de referencia como DeepDubber-V1 en métricas clave: tasa de error de palabras (WER/CER), sincronización labial (LSE-C/D) y similitud de voz. Un logro histórico es su capacidad, única en su género, para manejar con precisión diálogos a dúo y entre varias personas, mostrando una notable solidez en clips de vídeo de hasta 30 segundos.
GitHub: https://github.com/FunAudioLLM/FunCineForge
HuggingFace: https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope: https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
Artículo relacionado
Google presenta Dreambeans, su herramienta de IA más excéntrica hasta la fecha, para convertir tu vida en una historieta
Google Labs, la división encargada del diseño de productos experimentales, ha lanzado una nueva aplicación basada en inteligencia artificial para iOS y Android que da vida a tu día a día.Te presentamo
La crítica de Ultraman sobre la universidad desata un debate sobre cómo redefinir el crecimiento y las carreras profesionales en la era de la inteligencia artificial
En una época caracterizada por los rápidos avances en inteligencia artificial, la educación tradicional y la planificación profesional se enfrentan a retos sin precedentes. El director ejecutivo de Op
Ctrip Business Travel presenta un ecosistema de inteligencia artificial con 7 agentes del sector y 17 capacidades principales
Ctrip Business Travel ha presentado oficialmente el «Ecosistema de IA de Ctrip Business Travel», que aprovecha los modelos de lenguaje a gran escala para reestructurar de forma radical la gestión de l
Recomendaciones de temas especiales relacionados
Diseño y Arte
Las mejores herramientas de ilustración con IA: crea escenas editoriales y portadas más rápido
Las mejores herramientas de ilustración con IA de 2026: nuestra lista seleccionada incluye las mejores herramientas, diseñadas con gran potencia, para crear rápidamente impresionantes escenas editoriales y llamativas portadas. Cada opción ha sido sometida a rigurosas pruebas en condiciones reales y ofrece una comparación entre las versiones gratuitas y de pago para ayudarte a encontrar la que mejor se adapte a tu flujo de trabajo. Prueba hoy mismo estas soluciones imprescindibles para sacar el máximo partido a la IA y potenciar tu productividad creativa. Descúbrelas ahora en XIX.AI.
10 herramientas
xix.ai
Educación y aprendizaje
Los mejores profesores particulares de IA para la preparación de exámenes: practica matemáticas, ciencias e inglés
¡Ya están aquí, en XIX.AI, los mejores tutores de IA para la preparación de exámenes de 2026, con las mejores valoraciones! Nuestra lista seleccionada incluye potentes herramientas revolucionarias que ofrecen comparativas entre versiones gratuitas y de pago, pruebas reales y clasificaciones actualizadas semanalmente. Te ayudan a mejorar tu eficiencia a la hora de escribir, a simplificar el aprendizaje de temas complejos y a desarrollar todo tu potencial académico. ¡Explora ahora mismo para descubrir tu herramienta perfecta de preparación de exámenes y empieza a crear hoy mismo para sacar partido a tu ventaja con la IA!
10 herramientas
xix.ai
Finanzas
Herramientas de planificación presupuestaria con IA para la gestión personal del dinero
2026 Últimas Mejores Herramientas de Planificación Presupuestaria con IA Mejor Valoradas para la Gestión Personal del Dinero están aquí en XIX.AI. Esta colección seleccionada presenta soluciones poderosas y transformadoras que te ayudan a realizar pruebas en el mundo real, comprender tus hábitos de gasto y crear planes personalizados para aumentar la productividad. Disfruta de una comparación entre versiones gratuitas y de pago junto con clasificaciones detalladas. Herramientas imprescindibles diseñadas para simplificar la gestión del dinero y desbloquear tu ventaja con IA. ¡Explóralas ahora!
11 herramientas
xix.ai
Salud y bienestar
Asistentes de seguimiento del sueño basados en IA: mejora tu recuperación con mejores hábitos a la hora de acostarte
Los mejores asistentes de seguimiento del sueño con IA de 2026, seleccionados para una recuperación óptima. Esta guía semanal totalmente actualizada incluye potentes herramientas que ofrecen pruebas en condiciones reales, comparativas entre opciones gratuitas y de pago, y clasificaciones detalladas para ayudarte a encontrar la solución imprescindible que mejora la calidad del sueño y fomenta mejores hábitos a la hora de acostarse. Descúbrelo ahora en XIX.AI y aprovecha todas las ventajas de la IA.
10 herramientas
xix.ai
Análisis de datos
Copilotos de IA y SQL para el análisis de productos e ingresos
¡Los mejores copilotos de IA para SQL mejor valorados de 2026 para el análisis de productos e ingresos! XIX.AI ha seleccionado una potente colección de herramientas revolucionarias que no te puedes perder y que se someten a pruebas en el mundo real a través de clasificaciones que se actualizan semanalmente. Estas herramientas ayudan a los usuarios a aumentar significativamente su productividad al acelerar el análisis de datos, simplificar consultas complejas y generar información precisa para tomar decisiones empresariales más inteligentes. ¡Explora ahora mismo y descubre la herramienta perfecta para sacar el máximo partido a tu ventaja en IA!
14 herramientas
xix.ai
Educación y aprendizaje
Las mejores herramientas de IA para los deberes que realmente enseñan: aprende conceptos, no solo respuestas
2026: los mejores y más valorados asistentes de deberes con IA que enseñan conceptos básicos, no solo respuestas. Potentes herramientas para estudiantes. Una selección imprescindible que debes probar. Actualización semanal. Comparativa entre opciones gratuitas y de pago. Pruebas en el mundo real. Clasificaciones precisas para ayudarte a desarrollar todo tu potencial de aprendizaje. Explora ahora y descubre la herramienta perfecta para estudiar de forma más inteligente.
10 herramientas
xix.ai
comentario (0)
0/500
El doblaje de voz tradicional basado en IA suele quedarse corto en producciones de gran envergadura, como películas y animaciones, donde es fundamental captar los matices emocionales más sutiles y lograr una sincronización perfecta de los movimientos labiales. Para hacer frente a este reto fundamental del sector, Tongyi Lab ha lanzado oficialmente y ha puesto a disposición como código abierto el innovador modelo de doblaje multimodal y para múltiples escenarios con calidad cinematográfica:
Salvar la brecha audiovisual: un marco de cuatro pilares para una sincronización perfecta
En lugar de basarse en la simple conversión de texto a voz, Fun-CineForge está diseñado para dominar cuatro dimensiones fundamentales del doblaje profesional:
Sincronización labial: garantiza que el habla sintetizada se alinee con los movimientos de la boca de los personajes en pantalla con una precisión excepcional.
Expresión emocional: infunde a la voz emociones auténticas y humanas mediante el análisis de las señales faciales y las instrucciones contextuales.
Consistencia vocal: mantiene una identidad vocal estable y reconocible para personajes específicos en escenas complejas de diálogo con múltiples interlocutores.
Alineación temporal: permite la inserción de diálogos con una precisión de milisegundos, incluso cuando el hablante está fuera de pantalla o parcialmente oculto.
Innovación fundamental: la pionera «modalidad temporal» y un conjunto de datos de alta fidelidad
El salto técnico de Fun-CineForge se deriva de su filosofía única de diseño conjunto de «datos + modelo»:
El conjunto de datos de alta calidad de CineDub: Tongyi Lab también ha abierto el código fuente del proceso automatizado de construcción del conjunto de datos de CineDub. Utilizando un mecanismo de corrección de errores de cadena de pensamiento, reduce las tasas de error de transcripción para textos en chino e inglés a aproximadamente un 1 % - 2 % y reduce los errores de diarización de hablantes hasta un 1,2 %.
Arquitectura de fusión de cuatro modalidades: El modelo es pionero en la integración de una «modalidad temporal», modelando conjuntamente entradas visuales (forma de los labios y expresión), texto (diálogo y contexto emocional) y audio (referencia de voz). Esta fusión permite una sincronización exacta en escenas complejas, incluidas aquellas en las que no se ven los rostros.
Excelencia demostrada: doblaje pionero de diálogos auténticos con múltiples personajes
Los resultados de las pruebas comparativas demuestran que Fun-CineForge supera sustancialmente a modelos de referencia como DeepDubber-V1 en métricas clave: tasa de error de palabras (WER/CER), sincronización labial (LSE-C/D) y similitud de voz. Un logro histórico es su capacidad, única en su género, para manejar con precisión diálogos a dúo y entre varias personas, mostrando una notable solidez en clips de vídeo de hasta 30 segundos.
GitHub: https://github.com/FunAudioLLM/FunCineForge
HuggingFace: https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope: https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
Google presenta Dreambeans, su herramienta de IA más excéntrica hasta la fecha, para convertir tu vida en una historieta
Google Labs, la división encargada del diseño de productos experimentales, ha lanzado una nueva aplicación basada en inteligencia artificial para iOS y Android que da vida a tu día a día.Te presentamo
La crítica de Ultraman sobre la universidad desata un debate sobre cómo redefinir el crecimiento y las carreras profesionales en la era de la inteligencia artificial
En una época caracterizada por los rápidos avances en inteligencia artificial, la educación tradicional y la planificación profesional se enfrentan a retos sin precedentes. El director ejecutivo de Op
Ctrip Business Travel presenta un ecosistema de inteligencia artificial con 7 agentes del sector y 17 capacidades principales
Ctrip Business Travel ha presentado oficialmente el «Ecosistema de IA de Ctrip Business Travel», que aprovecha los modelos de lenguaje a gran escala para reestructurar de forma radical la gestión de l
Las mejores herramientas de ilustración con IA de 2026: nuestra lista seleccionada incluye las mejores herramientas, diseñadas con gran potencia, para crear rápidamente impresionantes escenas editoriales y llamativas portadas. Cada opción ha sido sometida a rigurosas pruebas en condiciones reales y ofrece una comparación entre las versiones gratuitas y de pago para ayudarte a encontrar la que mejor se adapte a tu flujo de trabajo. Prueba hoy mismo estas soluciones imprescindibles para sacar el máximo partido a la IA y potenciar tu productividad creativa. Descúbrelas ahora en XIX.AI.
10 herramientas
xix.ai
¡Ya están aquí, en XIX.AI, los mejores tutores de IA para la preparación de exámenes de 2026, con las mejores valoraciones! Nuestra lista seleccionada incluye potentes herramientas revolucionarias que ofrecen comparativas entre versiones gratuitas y de pago, pruebas reales y clasificaciones actualizadas semanalmente. Te ayudan a mejorar tu eficiencia a la hora de escribir, a simplificar el aprendizaje de temas complejos y a desarrollar todo tu potencial académico. ¡Explora ahora mismo para descubrir tu herramienta perfecta de preparación de exámenes y empieza a crear hoy mismo para sacar partido a tu ventaja con la IA!
10 herramientas
xix.ai
2026 Últimas Mejores Herramientas de Planificación Presupuestaria con IA Mejor Valoradas para la Gestión Personal del Dinero están aquí en XIX.AI. Esta colección seleccionada presenta soluciones poderosas y transformadoras que te ayudan a realizar pruebas en el mundo real, comprender tus hábitos de gasto y crear planes personalizados para aumentar la productividad. Disfruta de una comparación entre versiones gratuitas y de pago junto con clasificaciones detalladas. Herramientas imprescindibles diseñadas para simplificar la gestión del dinero y desbloquear tu ventaja con IA. ¡Explóralas ahora!
11 herramientas
xix.ai
Los mejores asistentes de seguimiento del sueño con IA de 2026, seleccionados para una recuperación óptima. Esta guía semanal totalmente actualizada incluye potentes herramientas que ofrecen pruebas en condiciones reales, comparativas entre opciones gratuitas y de pago, y clasificaciones detalladas para ayudarte a encontrar la solución imprescindible que mejora la calidad del sueño y fomenta mejores hábitos a la hora de acostarse. Descúbrelo ahora en XIX.AI y aprovecha todas las ventajas de la IA.
10 herramientas
xix.ai
¡Los mejores copilotos de IA para SQL mejor valorados de 2026 para el análisis de productos e ingresos! XIX.AI ha seleccionado una potente colección de herramientas revolucionarias que no te puedes perder y que se someten a pruebas en el mundo real a través de clasificaciones que se actualizan semanalmente. Estas herramientas ayudan a los usuarios a aumentar significativamente su productividad al acelerar el análisis de datos, simplificar consultas complejas y generar información precisa para tomar decisiones empresariales más inteligentes. ¡Explora ahora mismo y descubre la herramienta perfecta para sacar el máximo partido a tu ventaja en IA!
14 herramientas
xix.ai
2026: los mejores y más valorados asistentes de deberes con IA que enseñan conceptos básicos, no solo respuestas. Potentes herramientas para estudiantes. Una selección imprescindible que debes probar. Actualización semanal. Comparativa entre opciones gratuitas y de pago. Pruebas en el mundo real. Clasificaciones precisas para ayudarte a desarrollar todo tu potencial de aprendizaje. Explora ahora y descubre la herramienta perfecta para estudiar de forma más inteligente.
10 herramientas
xix.ai
