opción
Hogar
Noticias
Tongyi Lab presenta PrismAudio para la separación audiovisual bidireccional

Tongyi Lab presenta PrismAudio para la separación audiovisual bidireccional

5 de octubre de 2026
6

En una época en la que la generación de vídeo mediante IA está experimentando un rápido crecimiento, la falta de sincronización entre la imagen y el audio —que a menudo se manifiesta en forma de silencio o de desajuste entre ambos— sigue siendo un obstáculo importante para la inmersión del espectador. Para hacer frente a este reto, el Tongyi Lab de Alibaba ha presentado PrismAudio, un novedoso marco de trabajo de vídeo a audio. Esta investigación, aceptada en la prestigiosa conferencia sobre IA ICLR 2026, se centra en la sincronización automática de contenidos de vídeo con efectos de sonido ambiental precisos.

image.png

Razonamiento previo a la generación: dominar el audio con la «cadena de pensamiento»

Los modelos convencionales de generación de audio suelen funcionar de forma «intuitiva», lo que a menudo produce resultados incongruentes —como que el cascarilleo de los cascos de un caballo suene como el gorjeo de un pájaro, o que el audio vaya por detrás de la acción visual—. PrismAudio se distingue por emplear un enfoque de «primero planificar, luego generar».

Cadena de pensamiento de descomposición: antes de generar el audio, el modelo analiza el vídeo fotograma a fotograma: identifica los elementos de la escena, determina el momento de inicio del sonido, evalúa las características del audio (por ejemplo, nitidez o profundidad) y localiza espacialmente la fuente sonora.

Evaluación multidimensional: Para garantizar un resultado de alta calidad, el equipo de desarrollo integró el aprendizaje por refuerzo, utilizando cuatro «evaluadores virtuales» para puntuar los resultados en cuanto a consistencia semántica, sincronización temporal, calidad estética y precisión espacial. Este ciclo de retroalimentación multifacético resuelve el problema habitual de que los modelos anteriores se optimizaban para un aspecto mientras descuidaban otros.

Ligero y eficiente: procesamiento de vídeos de 9 segundos en 0,6 segundos

Más allá de la precisión, PrismAudio ofrece una velocidad excepcional. Aprovechando su algoritmo de entrenamiento patentado Fast-GRPO, el modelo logra un aumento sustancial del rendimiento al tiempo que mantiene la eficiencia operativa:

Arquitectura compacta, gran impacto: con solo 518 millones de parámetros, el modelo es significativamente más pequeño que los sistemas comparables, que a menudo requieren decenas de miles de millones de parámetros.

Respuesta rápida: generar audio de alta calidad para un clip de vídeo de 9 segundos lleva apenas 0,63 segundos, lo que se acerca al rendimiento en tiempo real.

Perspectiva del sector: el auge del audio ambiental auténtico

El lanzamiento de PrismAudio no solo ofrece una sólida herramienta de automatización para la posproducción cinematográfica y la creación de vídeos de formato corto, sino que también inspira nuevos enfoques para la generación de múltiples objetos. A medida que la IA mejore su capacidad para equilibrar la textura del audio y el posicionamiento espacial, la producción de vídeo del futuro alcanzará cada vez más una fidelidad auténtica del tipo «lo que ves es lo que oyes».

Enlace al artículo: arXiv:2511.18833

Enlace al código abierto: https://prismaudio-project.github.io/

Artículo relacionado
Neros Technologies asegura 250 millones de dólares para desplegar drones de defensa para 2026 Neros Technologies asegura 250 millones de dólares para desplegar drones de defensa para 2026 Neros Archer: Un dron FPV diseñado para cargas útiles modulares y enlaces de comunicación resistentes. | Fuente: NerosNeros Inc. ha cerrado una ronda de financiación Serie C por 250 millones de dólares, elevando la valoración del contratista de drone
Yushu Technology, la primera acción de robots humanoides en el mercado A, fija su cotización para el 19 de agosto con una valoración de aproximadamente 61 mil millones de yuanes Yushu Technology, la primera acción de robots humanoides en el mercado A, fija su cotización para el 19 de agosto con una valoración de aproximadamente 61 mil millones de yuanes Programada para su cotización en la Junta de Innovación Científica y Tecnológica el 19 de agosto, Yue Shu Technology debutará a 150,80 yuanes por acción, estableciendo una capitalización bursátil post-emisión de aproximadamente 60.993 mil millones de
El nodo Ali Zhenwu M890 Ultra ya es compatible con Qwen3.8 y está disponible en la plataforma BaiLian para inferencia. El nodo Ali Zhenwu M890 Ultra ya es compatible con Qwen3.8 y está disponible en la plataforma BaiLian para inferencia. Alibaba Cloud confirmó el 23 de julio que su nodo super Zhenwu M890 se ha integrado con éxito con el último modelo grande insignia, Qwen3.8, poniéndolo a disposición para servicios de inferencia de modelos en la plataforma Alibaba Cloud BaiLian. Este
Recomendaciones de temas especiales relacionados
automatización Herramientas de automatización con IA de n8n para operaciones internas, sincronización de datos y flujos de agentes de varios pasos
Herramientas de automatización con IA de n8n para operaciones internas, sincronización de datos y flujos de agentes de varios pasos

¡Ya están aquí las mejores herramientas de automatización con IA de n8n de 2026 para operaciones internas, sincronización de datos y flujos de agentes de varios pasos! XIX.AI ha elaborado una lista con las herramientas mejor valoradas, potentes y revolucionarias que aumentan la productividad en todas las tareas laborales. Cada entrada se somete a rigurosas pruebas en condiciones reales para garantizar su fiabilidad, con una comparación detallada entre las versiones gratuitas y de pago, así como clasificaciones que se actualizan semanalmente. Estas opciones imprescindibles te ayudarán a sacar el máximo partido a la IA y a optimizar los flujos de trabajo sin esfuerzo. ¡Explora ahora mismo y descubre tu herramienta perfecta!

11 herramientas
xix.ai
Inmediato Las mejores herramientas de gestión de solicitudes para equipos multimodelo
Las mejores herramientas de gestión de solicitudes para equipos multimodelo

¡Las mejores herramientas de gestión de prompts de 2026, mejor valoradas para equipos multimodelo! XIX.AI ha seleccionado una potente colección de herramientas revolucionarias que no te puedes perder, con comparativas entre versiones gratuitas y de pago, pruebas en condiciones reales y clasificaciones detalladas. Estas soluciones mejor valoradas ayudan a aumentar significativamente la productividad al optimizar los flujos de trabajo, eliminar la repetición y potenciar la creatividad en todos los proyectos del equipo. ¡Explora ahora mismo para descubrir tu herramienta perfecta y empieza a crear hoy mismo!

9 herramientas
xix.ai
Asistente de reuniones Herramientas de resumen de reuniones basadas en IA para equipos que trabajan a distancia
Herramientas de resumen de reuniones basadas en IA para equipos que trabajan a distancia

¡Las mejores herramientas de resumen de reuniones con IA mejor valoradas de 2026 para equipos remotos! XIX.AI ha seleccionado una potente colección de herramientas revolucionarias que no te puedes perder, sometidas a pruebas en el mundo real para ofrecer transcripciones precisas e información útil. Encontrarás comparativas entre opciones gratuitas y de pago, así como clasificaciones detalladas que te ayudarán a elegir la opción perfecta para aumentar la productividad y optimizar la comunicación del equipo. ¡Explora ahora y aprovecha toda la ventaja que te ofrece la IA!

13 herramientas
xix.ai
Desarrollo de software Mejores herramientas de AI para DevOps: monitorea despliegues, registros y incidentes
Mejores herramientas de AI para DevOps: monitorea despliegues, registros y incidentes

2026: Los mejores y más recientes ayudantes de AI DevOps con las calificaciones más altas, seleccionados especialmente para monitorear despliegues, registros y incidentes. XIX.AI ofrece herramientas revolucionarias y potentes que aumentan significativamente la productividad, gracias a pruebas en entornos reales y un sistema de clasificación riguroso. Obtenga una comparación gratuita con la versión de pago para encontrar la solución ideal que se adapte perfectamente a su flujo de trabajo. Explórela ahora y aproveche todas las ventajas que le brinda la inteligencia artificial.

7 herramientas
xix.ai
Edición de imágenes Herramientas de eliminación de fondo con IA para fotos de productos
Herramientas de eliminación de fondo con IA para fotos de productos

¡Ya están aquí, en XIX.AI, las mejores herramientas de 2026 para eliminar fondos en fotos de productos con IA, según las valoraciones de los usuarios! Nuestra lista seleccionada incluye soluciones potentes y revolucionarias que ofrecen resultados profesionales, contrastados mediante pruebas en situaciones reales. Encontrarás una comparación entre opciones gratuitas y de pago, clasificaciones actualizadas semanalmente y opciones que no te puedes perder para ayudarte a aumentar tu productividad y crear fotografías de productos impecables sin ningún tipo de complicación. ¡Explora ahora mismo y aprovecha las ventajas de la IA!

11 herramientas
xix.ai
código Herramientas de revisión de pull requests basadas en IA para repositorios de GitHub
Herramientas de revisión de pull requests basadas en IA para repositorios de GitHub

¡Ya están aquí, en XIX.AI, las mejores herramientas de revisión de pull requests con IA para repositorios de GitHub de 2026, las más valoradas! Nuestra lista seleccionada incluye soluciones potentes y revolucionarias que ayudan a los equipos a optimizar las revisiones de código, detectar errores más rápidamente y aumentar la productividad mediante pruebas en condiciones reales. Consigue una comparación entre las versiones gratuitas y de pago para encontrar la herramienta perfecta para tu flujo de trabajo. ¡Explora ahora mismo y descubre tu ventaja con la IA!

10 herramientas
xix.ai
comentario (0)
0/500
OR