Hogar
Aliyun, de Alibaba, presenta Fun-CineForge: un modelo y un conjunto de datos de doblaje de calidad cinematográfica de código abierto
Recientemente, el proyecto Fun-CineForge, desarrollado por el equipo de procesamiento del habla del Alibaba Tongyi Lab en colaboración con la Universidad de Ciencia y Tecnología de China, se ha convertido oficialmente en código abierto. Esta iniciativa aborda los principales retos del doblaje cinematográfico y televisivo —como la sincronización labial, la transferencia del estilo de voz y la expresión emocional— mediante la introducción de un flujo de trabajo de producción integral de principio a fin y soluciones basadas en modelos a gran escala.
Avances clave: resolución del problema de la «desincronización» en el doblaje cinematográfico
El doblaje tradicional con IA suele enfrentarse a problemas como la falta de coincidencia en los movimientos labiales, una interpretación emocional robótica y la dificultad para adaptarse a escenas cinematográficas complejas que implican diálogos y acústica con múltiples personas. Fun-CineForge logra un avance significativo a través de dos innovaciones clave:
Modelo de doblaje MLLM: más allá de la simple sincronización de audio y vídeo en la zona de los labios, emplea una arquitectura de modelo de lenguaje multimodal a gran escala (MLLM) capaz de comprender en profundidad la identidad de un personaje y los matices emocionales dentro de una escena.
Conjunto de datos a gran escala CineDub: El proyecto creó el primer conjunto de datos de doblaje de programas de televisión chinos ricamente anotado mediante un proceso automatizado, que abarca diversos escenarios como monólogos, narración, diálogos e interacciones entre varios hablantes.
Actualizaciones del proyecto y hoja de ruta de código abierto
El proyecto ha experimentado frecuentes actualizaciones recientes, lo que indica un alto nivel de madurez técnica:
Enero a marzo de 2026: Se publicaron conjuntos de datos de muestra y demostraciones tanto para chino (CineDub-CN) como para inglés (CineDub-EN).
16 de marzo de 2026: Se han publicado oficialmente en código abierto el código de inferencia y los pesos del modelo (puntos de control), lo que permite a los desarrolladores acceder a estos recursos en GitHub.
Acceso a los conjuntos de datos: Ya están disponibles para la investigación varios conjuntos de datos de series clásicas, entre ellas la serie china «El sueño de la cámara roja» y la serie inglesa «Downton Abbey».
Aplicación técnica: del «diálogo» a la «interpretación»
Las demostraciones oficiales muestran que el modelo ofrece resultados impresionantes al rehacer series clásicas como «Romance of the Three Kingdoms». Al introducir «pistas emocionales» específicas, el modelo puede captar con precisión el cambio emocional de un personaje —desde el miedo hasta el desafío— logrando una clonación de voz de alta fidelidad y una sincronización labial natural.
El lanzamiento de Fun-CineForge marca un cambio en el doblaje con IA para cine y televisión, pasando de la simple «conversión de texto a voz» a una herramienta de «postproducción automatizada» con comprensión artística. Este avance está llamado a reducir significativamente los costes de producción de los contenidos cinematográficos y televisivos doblados.
Proyecto: https://funcineforge.github.io/
Artículo relacionado
CEO de DeepMind, Hassabis: Duermo seis horas al día y generalmente me siento con energía alrededor de la 1 a. m.
Fortune ha presentado recientemente una entrevista con Demis Hassabis, director ejecutivo de Google DeepMind, en la que revela su enfoque poco convencional para el descanso y la productividad. Hassabis ha revelado que duerme muy poco, estructurando s
OpenAI y Anthropic compiten por la cuota de mercado a pesar de la caída de los ingresos
A pesar de los recientes informes que sugieren que OpenAI no ha alcanzado sus objetivos de ingresos —lo que ha generado presión sobre las acciones tecnológicas este martes—, los inversores privados en
Cumplimiento de la normativa sobre vehículos autónomos en California: una nueva era de multas, geovallas y 1 millón de millas
Guident opera un servicio de transporte de AuveTech en el sur de Florida, gestionando una ruta de cuatro millas en West Palm Beach y otra de una milla en Boca Ratón mediante su tecnología de monitoriz
Recomendaciones de temas especiales relacionados
chatbot
Las mejores aplicaciones de chat de roleplay con IA para practicar idiomas, prepararse para entrevistas y mejorar la fluidez diaria
¡Las mejores aplicaciones de chat de roleplay con IA de 2026, mejor valoradas, para practicar idiomas, prepararse para entrevistas y mejorar la fluidez diaria! XIX.AI selecciona una poderosa colección revolucionaria que ofrece comparaciones entre versiones gratuitas y de pago, pruebas del mundo real y clasificaciones actualizadas semanalmente. Estas herramientas imprescindibles te ayudan a mejorar tus habilidades de escritura, superar los desafíos de fluidez y aumentar la eficiencia comunicativa en todas las situaciones cotidianas. ¡Explora ahora para descubrir tu herramienta perfecta para el crecimiento lingüístico!
10 herramientas
xix.ai
composicion musical
Herramientas de separación de pistas con IA para la producción de remezclas, la preparación de samples y las pistas maestras de karaoke
Las mejores herramientas de separación de pistas con IA de 2026, seleccionadas para la producción de remixes, la preparación de samples y la creación de temas de karaoke. Estas potentes herramientas revolucionarias se han sometido a pruebas en condiciones reales para ofrecer un aislamiento de audio preciso, lo que aumenta significativamente la productividad. XIX.AI ofrece una guía comparativa entre versiones gratuitas y de pago, actualizada semanalmente, para ayudarte a encontrar la solución imprescindible que mejor se adapte a tus necesidades. Explórala ahora para sacar el máximo partido a la IA.
8 herramientas
xix.ai
Análisis de datos
Copilotos de AI para SQL destinados a paneles de ingresos, análisis de embudos y métricas de productos
¡Los mejores copilotos de SQL basados en IA de 2026, clasificados entre los más destacados! XIX.AI reúne una poderosa colección que evoluciona constantemente, con pruebas en el mundo real actualizadas semanalmente. Estas herramientas indispensables le permiten generar paneles de control de ingresos precisos, analizar los canales de venta y seguir de cerca las métricas de los productos de manera rápida, lo que aumenta significativamente su productividad. ¡Explórelas ahora para encontrar la herramienta perfecta para tomar decisiones basadas en datos! 238 caracteres
9 herramientas
xix.ai
composicion musical
Mejores herramientas de IA para escribir melodías en borradores de canciones
2026 Últimas Mejores Herramientas de Escritura de Melodías con IA Mejor Valoradas para Borradores de Canciones. XIX.AI ha curado una colección altamente poderosa y transformadora que ha pasado por rigurosas pruebas en el mundo real para ofrecer la mejor experiencia de escritura. Puedes encontrar comparaciones detalladas entre versiones gratuitas y de pago, clasificaciones precisas y opciones imperdibles diseñadas para ayudarte a crear borradores de canciones impresionantes sin esfuerzo y aumentar significativamente tu productividad creativa. ¡Explora ahora para descubrir tu herramienta perfecta!
8 herramientas
xix.ai
chatbot
Mejores herramientas de entrenamiento de conversación con IA para practicar entrevistas
¡Las mejores herramientas de entrenamiento de conversación con IA para prácticas de entrevistas más recientes y mejor valoradas de 2026 ya están disponibles en XIX.AI! Esta colección seleccionada incluye herramientas poderosas y transformadoras que han pasado por rigurosas pruebas en el mundo real para ofrecer retroalimentación precisa. Encontrarás una comparación entre opciones gratuitas y de pago, así como clasificaciones detalladas para ayudarte a elegir la opción imprescindible que aumente tu confianza y habilidades. ¡Explora ahora para descubrir tu herramienta perfecta para el éxito en las entrevistas!
12 herramientas
xix.ai
Diseño y Arte
Las mejores herramientas de transferencia de estilos con IA para experimentos creativos
¡Las mejores herramientas de transferencia de estilo con IA de 2026, mejor valoradas para experimentos creativos! XIX.AI ha seleccionado una colección de herramientas potentes y revolucionarias que no te puedes perder, capaces de ofrecer resultados excepcionales según pruebas reales y clasificaciones rigurosas. Estas soluciones de primera categoría ayudan a los creativos a aumentar significativamente su productividad, acelerando la creación de contenidos y abriendo un sinfín de posibilidades creativas. ¡Explora ahora mismo para descubrir tu herramienta perfecta y empieza a crear hoy mismo!
9 herramientas
xix.ai
comentario (0)
0/500
Recientemente, el proyecto Fun-CineForge, desarrollado por el equipo de procesamiento del habla del Alibaba Tongyi Lab en colaboración con la Universidad de Ciencia y Tecnología de China, se ha convertido oficialmente en código abierto. Esta iniciativa aborda los principales retos del doblaje cinematográfico y televisivo —como la sincronización labial, la transferencia del estilo de voz y la expresión emocional— mediante la introducción de un flujo de trabajo de producción integral de principio a fin y soluciones basadas en modelos a gran escala.
Avances clave: resolución del problema de la «desincronización» en el doblaje cinematográfico
El doblaje tradicional con IA suele enfrentarse a problemas como la falta de coincidencia en los movimientos labiales, una interpretación emocional robótica y la dificultad para adaptarse a escenas cinematográficas complejas que implican diálogos y acústica con múltiples personas. Fun-CineForge logra un avance significativo a través de dos innovaciones clave:
Modelo de doblaje MLLM: más allá de la simple sincronización de audio y vídeo en la zona de los labios, emplea una arquitectura de modelo de lenguaje multimodal a gran escala (MLLM) capaz de comprender en profundidad la identidad de un personaje y los matices emocionales dentro de una escena.
Conjunto de datos a gran escala CineDub: El proyecto creó el primer conjunto de datos de doblaje de programas de televisión chinos ricamente anotado mediante un proceso automatizado, que abarca diversos escenarios como monólogos, narración, diálogos e interacciones entre varios hablantes.
Actualizaciones del proyecto y hoja de ruta de código abierto
El proyecto ha experimentado frecuentes actualizaciones recientes, lo que indica un alto nivel de madurez técnica:
Enero a marzo de 2026: Se publicaron conjuntos de datos de muestra y demostraciones tanto para chino (CineDub-CN) como para inglés (CineDub-EN).
16 de marzo de 2026: Se han publicado oficialmente en código abierto el código de inferencia y los pesos del modelo (puntos de control), lo que permite a los desarrolladores acceder a estos recursos en GitHub.
Acceso a los conjuntos de datos: Ya están disponibles para la investigación varios conjuntos de datos de series clásicas, entre ellas la serie china «El sueño de la cámara roja» y la serie inglesa «Downton Abbey».
Aplicación técnica: del «diálogo» a la «interpretación»
Las demostraciones oficiales muestran que el modelo ofrece resultados impresionantes al rehacer series clásicas como «Romance of the Three Kingdoms». Al introducir «pistas emocionales» específicas, el modelo puede captar con precisión el cambio emocional de un personaje —desde el miedo hasta el desafío— logrando una clonación de voz de alta fidelidad y una sincronización labial natural.
El lanzamiento de Fun-CineForge marca un cambio en el doblaje con IA para cine y televisión, pasando de la simple «conversión de texto a voz» a una herramienta de «postproducción automatizada» con comprensión artística. Este avance está llamado a reducir significativamente los costes de producción de los contenidos cinematográficos y televisivos doblados.
Proyecto: https://funcineforge.github.io/
CEO de DeepMind, Hassabis: Duermo seis horas al día y generalmente me siento con energía alrededor de la 1 a. m.
Fortune ha presentado recientemente una entrevista con Demis Hassabis, director ejecutivo de Google DeepMind, en la que revela su enfoque poco convencional para el descanso y la productividad. Hassabis ha revelado que duerme muy poco, estructurando s
OpenAI y Anthropic compiten por la cuota de mercado a pesar de la caída de los ingresos
A pesar de los recientes informes que sugieren que OpenAI no ha alcanzado sus objetivos de ingresos —lo que ha generado presión sobre las acciones tecnológicas este martes—, los inversores privados en
Cumplimiento de la normativa sobre vehículos autónomos en California: una nueva era de multas, geovallas y 1 millón de millas
Guident opera un servicio de transporte de AuveTech en el sur de Florida, gestionando una ruta de cuatro millas en West Palm Beach y otra de una milla en Boca Ratón mediante su tecnología de monitoriz
¡Las mejores aplicaciones de chat de roleplay con IA de 2026, mejor valoradas, para practicar idiomas, prepararse para entrevistas y mejorar la fluidez diaria! XIX.AI selecciona una poderosa colección revolucionaria que ofrece comparaciones entre versiones gratuitas y de pago, pruebas del mundo real y clasificaciones actualizadas semanalmente. Estas herramientas imprescindibles te ayudan a mejorar tus habilidades de escritura, superar los desafíos de fluidez y aumentar la eficiencia comunicativa en todas las situaciones cotidianas. ¡Explora ahora para descubrir tu herramienta perfecta para el crecimiento lingüístico!
10 herramientas
xix.ai
Las mejores herramientas de separación de pistas con IA de 2026, seleccionadas para la producción de remixes, la preparación de samples y la creación de temas de karaoke. Estas potentes herramientas revolucionarias se han sometido a pruebas en condiciones reales para ofrecer un aislamiento de audio preciso, lo que aumenta significativamente la productividad. XIX.AI ofrece una guía comparativa entre versiones gratuitas y de pago, actualizada semanalmente, para ayudarte a encontrar la solución imprescindible que mejor se adapte a tus necesidades. Explórala ahora para sacar el máximo partido a la IA.
8 herramientas
xix.ai
¡Los mejores copilotos de SQL basados en IA de 2026, clasificados entre los más destacados! XIX.AI reúne una poderosa colección que evoluciona constantemente, con pruebas en el mundo real actualizadas semanalmente. Estas herramientas indispensables le permiten generar paneles de control de ingresos precisos, analizar los canales de venta y seguir de cerca las métricas de los productos de manera rápida, lo que aumenta significativamente su productividad. ¡Explórelas ahora para encontrar la herramienta perfecta para tomar decisiones basadas en datos! 238 caracteres
9 herramientas
xix.ai
2026 Últimas Mejores Herramientas de Escritura de Melodías con IA Mejor Valoradas para Borradores de Canciones. XIX.AI ha curado una colección altamente poderosa y transformadora que ha pasado por rigurosas pruebas en el mundo real para ofrecer la mejor experiencia de escritura. Puedes encontrar comparaciones detalladas entre versiones gratuitas y de pago, clasificaciones precisas y opciones imperdibles diseñadas para ayudarte a crear borradores de canciones impresionantes sin esfuerzo y aumentar significativamente tu productividad creativa. ¡Explora ahora para descubrir tu herramienta perfecta!
8 herramientas
xix.ai
¡Las mejores herramientas de entrenamiento de conversación con IA para prácticas de entrevistas más recientes y mejor valoradas de 2026 ya están disponibles en XIX.AI! Esta colección seleccionada incluye herramientas poderosas y transformadoras que han pasado por rigurosas pruebas en el mundo real para ofrecer retroalimentación precisa. Encontrarás una comparación entre opciones gratuitas y de pago, así como clasificaciones detalladas para ayudarte a elegir la opción imprescindible que aumente tu confianza y habilidades. ¡Explora ahora para descubrir tu herramienta perfecta para el éxito en las entrevistas!
12 herramientas
xix.ai
¡Las mejores herramientas de transferencia de estilo con IA de 2026, mejor valoradas para experimentos creativos! XIX.AI ha seleccionado una colección de herramientas potentes y revolucionarias que no te puedes perder, capaces de ofrecer resultados excepcionales según pruebas reales y clasificaciones rigurosas. Estas soluciones de primera categoría ayudan a los creativos a aumentar significativamente su productividad, acelerando la creación de contenidos y abriendo un sinfín de posibilidades creativas. ¡Explora ahora mismo para descubrir tu herramienta perfecta y empieza a crear hoy mismo!
9 herramientas
xix.ai
