Hogar
Aliyun, de Alibaba, presenta Fun-CineForge: un modelo y un conjunto de datos de doblaje de calidad cinematográfica de código abierto
Recientemente, el proyecto Fun-CineForge, desarrollado por el equipo de procesamiento del habla del Alibaba Tongyi Lab en colaboración con la Universidad de Ciencia y Tecnología de China, se ha convertido oficialmente en código abierto. Esta iniciativa aborda los principales retos del doblaje cinematográfico y televisivo —como la sincronización labial, la transferencia del estilo de voz y la expresión emocional— mediante la introducción de un flujo de trabajo de producción integral de principio a fin y soluciones basadas en modelos a gran escala.
Avances clave: resolución del problema de la «desincronización» en el doblaje cinematográfico
El doblaje tradicional con IA suele enfrentarse a problemas como la falta de coincidencia en los movimientos labiales, una interpretación emocional robótica y la dificultad para adaptarse a escenas cinematográficas complejas que implican diálogos y acústica con múltiples personas. Fun-CineForge logra un avance significativo a través de dos innovaciones clave:
Modelo de doblaje MLLM: más allá de la simple sincronización de audio y vídeo en la zona de los labios, emplea una arquitectura de modelo de lenguaje multimodal a gran escala (MLLM) capaz de comprender en profundidad la identidad de un personaje y los matices emocionales dentro de una escena.
Conjunto de datos a gran escala CineDub: El proyecto creó el primer conjunto de datos de doblaje de programas de televisión chinos ricamente anotado mediante un proceso automatizado, que abarca diversos escenarios como monólogos, narración, diálogos e interacciones entre varios hablantes.
Actualizaciones del proyecto y hoja de ruta de código abierto
El proyecto ha experimentado frecuentes actualizaciones recientes, lo que indica un alto nivel de madurez técnica:
Enero a marzo de 2026: Se publicaron conjuntos de datos de muestra y demostraciones tanto para chino (CineDub-CN) como para inglés (CineDub-EN).
16 de marzo de 2026: Se han publicado oficialmente en código abierto el código de inferencia y los pesos del modelo (puntos de control), lo que permite a los desarrolladores acceder a estos recursos en GitHub.
Acceso a los conjuntos de datos: Ya están disponibles para la investigación varios conjuntos de datos de series clásicas, entre ellas la serie china «El sueño de la cámara roja» y la serie inglesa «Downton Abbey».
Aplicación técnica: del «diálogo» a la «interpretación»
Las demostraciones oficiales muestran que el modelo ofrece resultados impresionantes al rehacer series clásicas como «Romance of the Three Kingdoms». Al introducir «pistas emocionales» específicas, el modelo puede captar con precisión el cambio emocional de un personaje —desde el miedo hasta el desafío— logrando una clonación de voz de alta fidelidad y una sincronización labial natural.
El lanzamiento de Fun-CineForge marca un cambio en el doblaje con IA para cine y televisión, pasando de la simple «conversión de texto a voz» a una herramienta de «postproducción automatizada» con comprensión artística. Este avance está llamado a reducir significativamente los costes de producción de los contenidos cinematográficos y televisivos doblados.
Proyecto: https://funcineforge.github.io/
Artículo relacionado
El MIIT busca comentarios del público sobre 121 estándares industriales, incluido el Protocolo de Contexto para Modelos de IA
El Ministerio de Industria y Tecnologías de la Información de China ha publicado oficialmente un aviso solicitando comentarios del público sobre 121 proyectos de estandarización industrial, incluido el “Requisitos de seguridad aplicativa para el Prot
OpenAI se asocia con el Departamento de Defensa de los EE. UU.; las eliminaciones de ChatGPT aumentan un 295%.
Indignación Pública: La Alianza Militar de OpenAI Desata una Onda de DesinstalacionesRecientemente, el líder en inteligencia artificial OpenAI anunció una estrecha colaboración con el Departamento de Defensa de los Estados Unidos, integrando sus mod
OpenAI lanza la función «Sites», lo que marca el fin de la era «sin código» con sitios web basados en Word
OpenAI ha presentado Sites, una nueva función para Codex, su IA dedicada a la ingeniería de software. Actualmente en fase de prueba, solo está disponible para los suscriptores de pago de los planes Bu
Recomendaciones de temas especiales relacionados
Creación de vídeos
Las mejores plataformas de IA para convertir texto en vídeo, destinadas a la redacción de guiones y la narración visual
Las mejores plataformas de IA para convertir texto en vídeo de 2026: las herramientas mejor valoradas para la redacción de guiones y la narración visual. Descubre soluciones potentes y revolucionarias para transformar tu texto en vídeos atractivos. Compara las opciones gratuitas con las de pago gracias a nuestras clasificaciones, que se actualizan semanalmente, y a nuestras pruebas en condiciones reales. Encuentra la plataforma perfecta para potenciar tu creatividad y productividad. Explora la selección cuidada de XIX.AI.
10 herramientas
xix.ai
chatbot
Orquestadores de Agentes Multiservidores AI: Diseño de Flujos de Trabajo Automatizados y Complejos a través del Lenguaje Natural
2026 Últimas novedades: Descubra los mejores herramientas de inteligencia artificial para diseñar flujos de trabajo automatizados complejos a través del lenguaje natural. Nuestra lista seleccionada incluye las plataformas más reconocidas y potentes para una automatización de tareas sin problemas y una gestión inteligente de procesos. Compare opciones gratuitas y pagadas con información basada en casos reales. Despliegue todo su potencial con las clasificaciones actualizadas semanalmente por expertos de XIX.AI.
10 herramientas
xix.ai
Edición de imágenes
Mejor software de reducción de ruido por IA: Elimina las imperfecciones y artefactos en fotografías nocturnas con poca luz
Descubra los mejores softwares de reducción de ruido por IA para la fotografía nocturna en condiciones de poca luz en 2026. Nuestra lista, seleccionada cuidadosamente y evaluada por expertos, compara herramientas gratuitas con aquellas pagadas, e incluye pruebas reales y clasificaciones actualizadas semanalmente. Elimine fácilmente las imperfecciones y los artefactos en sus imágenes. Despliegue todo el potencial de la IA en XIX.AI.
10 herramientas
xix.ai
chatbot
Los mejores generadores personalizados de novias con IA: diseña personalidades, aficiones e historias personales únicas
Descubre los mejores generadores personalizados de novias con IA de 2026 en XIX.AI. Explora nuestra lista seleccionada y mejor valorada para diseñar personalidades únicas, aficiones e historias de fondo detalladas. Compara las opciones gratuitas con las de pago gracias a opiniones reales. Consigue hoy mismo a tu compañera creativa perfecta.
10 herramientas
xix.ai
Productividad
Diseñadores de arquitecturas de IA: Crea arquitecturas de sistemas escalables utilizando lenguaje natural
Descubre las mejores herramientas de diseño de arquitecturas de IA de 2026 en XIX.AI. Nuestra lista, cuidadosamente seleccionada y mejor valorada, incluye soluciones potentes y revolucionarias para crear arquitecturas de sistemas escalables mediante el lenguaje natural. Compara las opciones gratuitas con las de pago con información basada en casos reales. Aprovecha tu ventaja en IA y optimiza el desarrollo hoy mismo.
10 herramientas
xix.ai
Creación de cómics
Creadores de Perfiles de Personajes AI: Genera historias detalladas y referencias visuales para los personajes principales de los mangas.
2026: Los mejores creadores de perfiles de personajes AI: Descubra herramientas altamente valoradas para generar historias detalladas y referencias visuales para sus personajes principales en manga. Nuestra lista, actualizada semanalmente, compara opciones gratuitas y pagas basándose en pruebas reales. Encuentre soluciones poderosas que revolucionarán su proceso creativo y le ayudarán a crear personajes convincentes de manera más eficiente. Explore las clasificaciones en XIX.AI y descubra hoy mismo al aliado perfecto para su narrativa.
10 herramientas
xix.ai
comentario (0)
0/500
Recientemente, el proyecto Fun-CineForge, desarrollado por el equipo de procesamiento del habla del Alibaba Tongyi Lab en colaboración con la Universidad de Ciencia y Tecnología de China, se ha convertido oficialmente en código abierto. Esta iniciativa aborda los principales retos del doblaje cinematográfico y televisivo —como la sincronización labial, la transferencia del estilo de voz y la expresión emocional— mediante la introducción de un flujo de trabajo de producción integral de principio a fin y soluciones basadas en modelos a gran escala.
Avances clave: resolución del problema de la «desincronización» en el doblaje cinematográfico
El doblaje tradicional con IA suele enfrentarse a problemas como la falta de coincidencia en los movimientos labiales, una interpretación emocional robótica y la dificultad para adaptarse a escenas cinematográficas complejas que implican diálogos y acústica con múltiples personas. Fun-CineForge logra un avance significativo a través de dos innovaciones clave:
Modelo de doblaje MLLM: más allá de la simple sincronización de audio y vídeo en la zona de los labios, emplea una arquitectura de modelo de lenguaje multimodal a gran escala (MLLM) capaz de comprender en profundidad la identidad de un personaje y los matices emocionales dentro de una escena.
Conjunto de datos a gran escala CineDub: El proyecto creó el primer conjunto de datos de doblaje de programas de televisión chinos ricamente anotado mediante un proceso automatizado, que abarca diversos escenarios como monólogos, narración, diálogos e interacciones entre varios hablantes.
Actualizaciones del proyecto y hoja de ruta de código abierto
El proyecto ha experimentado frecuentes actualizaciones recientes, lo que indica un alto nivel de madurez técnica:
Enero a marzo de 2026: Se publicaron conjuntos de datos de muestra y demostraciones tanto para chino (CineDub-CN) como para inglés (CineDub-EN).
16 de marzo de 2026: Se han publicado oficialmente en código abierto el código de inferencia y los pesos del modelo (puntos de control), lo que permite a los desarrolladores acceder a estos recursos en GitHub.
Acceso a los conjuntos de datos: Ya están disponibles para la investigación varios conjuntos de datos de series clásicas, entre ellas la serie china «El sueño de la cámara roja» y la serie inglesa «Downton Abbey».
Aplicación técnica: del «diálogo» a la «interpretación»
Las demostraciones oficiales muestran que el modelo ofrece resultados impresionantes al rehacer series clásicas como «Romance of the Three Kingdoms». Al introducir «pistas emocionales» específicas, el modelo puede captar con precisión el cambio emocional de un personaje —desde el miedo hasta el desafío— logrando una clonación de voz de alta fidelidad y una sincronización labial natural.
El lanzamiento de Fun-CineForge marca un cambio en el doblaje con IA para cine y televisión, pasando de la simple «conversión de texto a voz» a una herramienta de «postproducción automatizada» con comprensión artística. Este avance está llamado a reducir significativamente los costes de producción de los contenidos cinematográficos y televisivos doblados.
Proyecto: https://funcineforge.github.io/
El MIIT busca comentarios del público sobre 121 estándares industriales, incluido el Protocolo de Contexto para Modelos de IA
El Ministerio de Industria y Tecnologías de la Información de China ha publicado oficialmente un aviso solicitando comentarios del público sobre 121 proyectos de estandarización industrial, incluido el “Requisitos de seguridad aplicativa para el Prot
OpenAI se asocia con el Departamento de Defensa de los EE. UU.; las eliminaciones de ChatGPT aumentan un 295%.
Indignación Pública: La Alianza Militar de OpenAI Desata una Onda de DesinstalacionesRecientemente, el líder en inteligencia artificial OpenAI anunció una estrecha colaboración con el Departamento de Defensa de los Estados Unidos, integrando sus mod
OpenAI lanza la función «Sites», lo que marca el fin de la era «sin código» con sitios web basados en Word
OpenAI ha presentado Sites, una nueva función para Codex, su IA dedicada a la ingeniería de software. Actualmente en fase de prueba, solo está disponible para los suscriptores de pago de los planes Bu
Las mejores plataformas de IA para convertir texto en vídeo de 2026: las herramientas mejor valoradas para la redacción de guiones y la narración visual. Descubre soluciones potentes y revolucionarias para transformar tu texto en vídeos atractivos. Compara las opciones gratuitas con las de pago gracias a nuestras clasificaciones, que se actualizan semanalmente, y a nuestras pruebas en condiciones reales. Encuentra la plataforma perfecta para potenciar tu creatividad y productividad. Explora la selección cuidada de XIX.AI.
10 herramientas
xix.ai
2026 Últimas novedades: Descubra los mejores herramientas de inteligencia artificial para diseñar flujos de trabajo automatizados complejos a través del lenguaje natural. Nuestra lista seleccionada incluye las plataformas más reconocidas y potentes para una automatización de tareas sin problemas y una gestión inteligente de procesos. Compare opciones gratuitas y pagadas con información basada en casos reales. Despliegue todo su potencial con las clasificaciones actualizadas semanalmente por expertos de XIX.AI.
10 herramientas
xix.ai
Descubra los mejores softwares de reducción de ruido por IA para la fotografía nocturna en condiciones de poca luz en 2026. Nuestra lista, seleccionada cuidadosamente y evaluada por expertos, compara herramientas gratuitas con aquellas pagadas, e incluye pruebas reales y clasificaciones actualizadas semanalmente. Elimine fácilmente las imperfecciones y los artefactos en sus imágenes. Despliegue todo el potencial de la IA en XIX.AI.
10 herramientas
xix.ai
Descubre los mejores generadores personalizados de novias con IA de 2026 en XIX.AI. Explora nuestra lista seleccionada y mejor valorada para diseñar personalidades únicas, aficiones e historias de fondo detalladas. Compara las opciones gratuitas con las de pago gracias a opiniones reales. Consigue hoy mismo a tu compañera creativa perfecta.
10 herramientas
xix.ai
Descubre las mejores herramientas de diseño de arquitecturas de IA de 2026 en XIX.AI. Nuestra lista, cuidadosamente seleccionada y mejor valorada, incluye soluciones potentes y revolucionarias para crear arquitecturas de sistemas escalables mediante el lenguaje natural. Compara las opciones gratuitas con las de pago con información basada en casos reales. Aprovecha tu ventaja en IA y optimiza el desarrollo hoy mismo.
10 herramientas
xix.ai
2026: Los mejores creadores de perfiles de personajes AI: Descubra herramientas altamente valoradas para generar historias detalladas y referencias visuales para sus personajes principales en manga. Nuestra lista, actualizada semanalmente, compara opciones gratuitas y pagas basándose en pruebas reales. Encuentre soluciones poderosas que revolucionarán su proceso creativo y le ayudarán a crear personajes convincentes de manera más eficiente. Explore las clasificaciones en XIX.AI y descubra hoy mismo al aliado perfecto para su narrativa.
10 herramientas
xix.ai
