option
Maison
Nouvelles
Tongyi Lab dévoile PrismAudio, une solution de séparation audiovisuelle bidirectionnelle

Tongyi Lab dévoile PrismAudio, une solution de séparation audiovisuelle bidirectionnelle

5 octobre 2026
6

À une époque où la génération de vidéos par IA connaît un essor fulgurant, le décalage entre l’image et le son — qui se manifeste souvent par un silence ou un son mal synchronisé — reste un obstacle majeur à l’immersion du spectateur. Pour relever ce défi, le Tongyi Lab d’Alibaba a dévoilé PrismAudio, un nouveau framework de conversion vidéo-audio. Ces travaux de recherche, acceptés par la prestigieuse conférence sur l’IA ICLR 2026, se concentrent sur la synchronisation automatique de contenus vidéo avec des effets sonores ambiants précis.

image.png

Raisonnement avant la génération : maîtriser l’audio grâce à la « chaîne de pensée »

Les modèles classiques de génération audio fonctionnent généralement de manière « intuitive », produisant souvent des résultats décousus — comme des bruits de sabots de cheval ressemblant à des gazouillis d’oiseaux, ou un son en décalage par rapport à l’action visuelle. PrismAudio se distingue en adoptant une approche « planifier d’abord, générer ensuite ».

Chaîne de pensée par décomposition : avant de générer le son, le modèle analyse la vidéo image par image : il identifie les éléments de la scène, détermine le moment d’apparition des sons, évalue les caractéristiques audio (par exemple, la netteté ou la profondeur) et localise spatialement la source sonore.

Évaluation multidimensionnelle : afin de garantir un résultat de haute qualité, l’équipe de développement a intégré l’apprentissage par renforcement, en utilisant quatre « évaluateurs virtuels » pour noter les résultats selon quatre critères : la cohérence sémantique, la synchronisation temporelle, la qualité esthétique et la précision spatiale. Cette boucle de rétroaction à multiples facettes résout le problème courant des modèles précédents, qui optimisaient un aspect tout en en négligeant d’autres.

Léger et efficace : traitement de vidéos de 9 secondes en 0,6 seconde

Au-delà de la précision, PrismAudio offre une vitesse exceptionnelle. Grâce à son algorithme d’entraînement propriétaire Fast-GRPO, le modèle bénéficie d’un gain de performances substantiel tout en conservant son efficacité opérationnelle :

Architecture compacte, impact élevé : avec seulement 518 millions de paramètres, le modèle est nettement plus petit que les systèmes comparables, qui nécessitent souvent des dizaines de milliards de paramètres.

Réponse rapide : la génération d’un son de haute qualité pour un clip vidéo de 9 secondes ne prend que 0,63 seconde, ce qui se rapproche des performances en temps réel.

Perspective du secteur : l’essor de l’audio ambiant authentique

Le lancement de PrismAudio offre non seulement un outil d’automatisation robuste pour la post-production cinématographique et la création de vidéos courtes, mais il inspire également de nouvelles approches en matière de génération multi-objets. À mesure que l’IA améliore sa capacité à équilibrer la texture audio et le positionnement spatial, la production vidéo future atteindra de plus en plus une véritable fidélité selon le principe « ce que vous voyez est ce que vous entendez ».

Lien vers l'article : arXiv:2511.18833

Lien vers le code open source : https://prismaudio-project.github.io/

Article connexe
Neros Technologies lève 250 millions de dollars pour déployer des drones de défense d’ici 2026 Neros Technologies lève 250 millions de dollars pour déployer des drones de défense d’ici 2026 Neros Archer : Un drone FPV conçu pour des charges utiles modulaires et des liens de communication résilients. | Source : NerosNeros Inc. a clôturé une levée de fonds de série C de 250 millions de dollars, portant la valorisation de l'entrepreneur en
Yushu Technology, première action de robots humanoïdes cotée sur le marché A, fixe son introduction en bourse au 19 août avec une valorisation d’environ 61 milliards de yuans Yushu Technology, première action de robots humanoïdes cotée sur le marché A, fixe son introduction en bourse au 19 août avec une valorisation d’environ 61 milliards de yuans Prévue pour être cotée sur le tableau de l'innovation scientifique et technologique le 19 août, Yue Shu Technology fera ses débuts à 150,80 yuans par action, établissant une capitalisation boursière post-émission d'environ 60,993 milliards de yuans.
Le nœud Ali Zhenwu M890 Ultra est désormais compatible avec Qwen3.8, disponible sur la plateforme BaiLian pour l'inférence. Le nœud Ali Zhenwu M890 Ultra est désormais compatible avec Qwen3.8, disponible sur la plateforme BaiLian pour l'inférence. Alibaba Cloud a confirmé le 23 juillet que son super nœud Zhenwu M890 s’est intégré avec succès au dernier modèle d’IA de grande envergure phare, Qwen3.8, le rendant disponible pour les services d’inférence de modèles sur la plateforme Alibaba Cloud
Recommandations de sujets spéciaux liés
automation Outils d'automatisation basés sur l'IA de n8n pour les opérations internes, la synchronisation des données et les flux d'agents en plusieurs étapes
Outils d'automatisation basés sur l'IA de n8n pour les opérations internes, la synchronisation des données et les flux d'agents en plusieurs étapes

Les meilleurs outils d'automatisation IA n8n de 2026 pour les opérations internes, la synchronisation des données et les flux d'agents en plusieurs étapes sont enfin disponibles ! XIX.AI a sélectionné une liste des outils les mieux notés, puissants et révolutionnaires, qui boostent la productivité dans toutes les tâches professionnelles. Chaque outil est soumis à des tests rigoureux en conditions réelles pour garantir sa fiabilité, avec une comparaison détaillée entre les versions gratuites et payantes ainsi qu'un classement mis à jour chaque semaine. Ces outils incontournables vous aideront à tirer pleinement parti de l'IA et à rationaliser vos flux de travail sans effort. Explorez-les dès maintenant pour découvrir celui qui vous convient le mieux !

11 outils
xix.ai
Rapide Les meilleurs outils de gestion des prompts pour les équipes multimodèles
Les meilleurs outils de gestion des prompts pour les équipes multimodèles

2026 : les meilleurs outils de gestion des prompts, les mieux notés, pour les équipes multimodèles ! XIX.AI a sélectionné une gamme d'outils puissants et révolutionnaires à ne pas manquer, accompagnés de comparaisons entre versions gratuites et payantes, de tests en conditions réelles et de classements détaillés. Ces solutions haut de gamme contribuent à augmenter considérablement la productivité en rationalisant les flux de travail, en éliminant les tâches répétitives et en libérant la créativité dans tous les projets de l'équipe. Explorez-les dès maintenant pour découvrir l'outil qui vous convient le mieux et commencez à créer dès aujourd'hui !

9 outils
xix.ai
Assistante de réunion Outils d'IA pour la synthèse des réunions destinés aux équipes travaillant à distance
Outils d'IA pour la synthèse des réunions destinés aux équipes travaillant à distance

Les meilleurs outils de synthèse de réunions basés sur l'IA les mieux notés de 2026 pour les équipes à distance ! XIX.AI a sélectionné une gamme d'outils puissants et révolutionnaires à ne pas manquer, qui ont fait leurs preuves dans la pratique pour fournir des transcriptions précises et des informations exploitables. Vous y trouverez des comparatifs entre les versions gratuites et payantes, ainsi que des classements détaillés pour vous aider à choisir la solution idéale qui stimulera la productivité et optimisera la communication au sein de votre équipe. Découvrez-les dès maintenant pour tirer pleinement parti de l'IA !

13 outils
xix.ai
Développement de logiciels Les meilleurs outils AI pour DevOps : suivi des déploiements, des journaux et des incidents
Les meilleurs outils AI pour DevOps : suivi des déploiements, des journaux et des incidents

2026 : Les meilleurs outils d’AI DevOps les plus récents et hautement notés, sélectionnés spécialement pour le suivi des déploiements, des journaux et des incidents. XIX.AI propose des outils puissants et révolutionnaires qui améliorent considérablement la productivité, grâce à des tests en conditions réelles et à des classements rigoureux. Obtenez une comparaison gratuite et payante afin de découvrir la solution idéale adaptée à votre flux de travail. Découvrez-les dès maintenant pour tirer parti pleinement des avantages offerts par l’IA.

7 outils
xix.ai
Édition d'images Outils d'IA pour la suppression de l'arrière-plan sur les photos de produits
Outils d'IA pour la suppression de l'arrière-plan sur les photos de produits

Les meilleurs outils d'IA pour la suppression d'arrière-plan des photos de produits en 2026 sont disponibles ici, sur XIX.AI ! Notre sélection comprend des solutions puissantes et révolutionnaires qui offrent des résultats professionnels, validés par des tests en conditions réelles. Vous y trouverez un comparatif entre les versions gratuites et payantes, des classements mis à jour chaque semaine, ainsi que des options incontournables pour vous aider à booster votre productivité et à créer des photos de produits impeccables en toute simplicité. Découvrez-les dès maintenant pour tirer pleinement parti de l'IA !

11 outils
xix.ai
code Outils d’examen des demandes de pull AI pour les dépôts GitHub
Outils d’examen des demandes de pull AI pour les dépôts GitHub

2026 Derniers Meilleurs Outils d’Examen des Demandes de Tirage par IA les Mieux Notés pour les Dépôts GitHub sont ici sur XIX.AI ! Notre liste soigneusement sélectionnée propose des solutions puissantes et révolutionnaires qui aident les équipes à rationaliser les revues de code, à détecter plus rapidement les erreurs et à améliorer la productivité grâce à des tests concrets. Obtenez une comparaison gratuite entre les versions gratuites et payantes pour trouver l’outil parfait pour votre flux de travail. Explorez dès maintenant pour débloquer votre avantage par l’IA !

10 outils
xix.ai
commentaires (0)
0/500
OR