opção
Lar
Notícias
O Tongyi Lab apresenta o PrismAudio para separação audiovisual bidirecional

O Tongyi Lab apresenta o PrismAudio para separação audiovisual bidirecional

5 de Outubro de 2026
6

Em uma era em que a geração de vídeos por IA está se expandindo rapidamente, a desconexão entre o visual e o áudio — que muitas vezes se manifesta como silêncio ou som descompassado — continua sendo um obstáculo significativo para a imersão do espectador. Para enfrentar esse desafio, o Tongyi Lab, da Alibaba, revelou o PrismAudio, uma nova estrutura de conversão de vídeo em áudio. Essa pesquisa, aceita pela importante conferência de IA ICLR 2026, concentra-se na sincronização automática de conteúdo de vídeo com efeitos sonoros ambientais precisos.

image.png

Raciocínio antes da geração: dominando o áudio com a “cadeia de pensamento”

Os modelos convencionais de geração de áudio geralmente operam de forma “intuitiva”, produzindo frequentemente resultados desconexos — como o barulho dos cascos de um cavalo soando como o chilrear de pássaros, ou o áudio ficando atrasado em relação à ação visual. O PrismAudio se destaca por empregar uma abordagem do tipo “planejar primeiro, depois gerar”.

Cadeia de pensamento de decomposição: antes de gerar o áudio, o modelo analisa o vídeo quadro a quadro: identificando elementos da cena, determinando o momento de início do som, avaliando características do áudio (por exemplo, nitidez ou profundidade) e localizando espacialmente a fonte sonora.

Avaliação multidimensional: Para garantir uma saída de alta qualidade, a equipe de desenvolvimento integrou o aprendizado por reforço, utilizando quatro “avaliadores virtuais” para pontuar os resultados em termos de consistência semântica, sincronização temporal, qualidade estética e precisão espacial. Esse ciclo de feedback multifacetado resolve o problema comum em que modelos anteriores otimizavam um aspecto, mas negligenciavam outros.

Leve e eficiente: processando vídeos de 9 segundos em 0,6 segundos

Além da precisão, o PrismAudio oferece velocidade excepcional. Aproveitando seu algoritmo de treinamento proprietário Fast-GRPO, o modelo alcança um aumento substancial de desempenho, mantendo a eficiência operacional:

Arquitetura compacta, alto impacto: com apenas 518 milhões de parâmetros, o modelo é significativamente menor do que sistemas comparáveis, que frequentemente exigem dezenas de bilhões de parâmetros.

Resposta rápida: a geração de áudio de alta qualidade para um clipe de vídeo de 9 segundos leva apenas 0,63 segundos, aproximando-se do desempenho em tempo real.

Perspectiva do setor: a ascensão do áudio ambiente autêntico

O lançamento do PrismAudio não apenas oferece uma ferramenta robusta de automação para a pós-produção cinematográfica e a criação de vídeos curtos, mas também inspira novas abordagens para a geração de múltiplos objetos. À medida que a IA aprimora sua capacidade de equilibrar a textura do áudio e o posicionamento espacial, a produção de vídeo no futuro alcançará cada vez mais a verdadeira fidelidade do princípio “o que você vê é o que você ouve”.

Link do artigo: arXiv:2511.18833

Link do código-fonte: https://prismaudio-project.github.io/

Artigo relacionado
A Neros Technologies garante US$ 250 milhões para implantar drones de defesa até 2026 A Neros Technologies garante US$ 250 milhões para implantar drones de defesa até 2026 Neros Archer: Um drone FPV projetado para cargas úteis modulares e links de comunicação resilientes. | Fonte: NerosA Neros Inc. fechou uma rodada de financiamento da Série C de $250 milhões, elevando a avaliação da contratante de drones de defesa par
Yushu Technology, a primeira ação de robôs humanoides listada no mercado A-share, define 19 de agosto como data de listagem, com avaliação de aproximadamente 61 bilhões de yuans. Yushu Technology, a primeira ação de robôs humanoides listada no mercado A-share, define 19 de agosto como data de listagem, com avaliação de aproximadamente 61 bilhões de yuans. Agendada para listagem na Bolsa de Inovação Científica e Tecnológica em 19 de agosto, a Yue Shu Technology estreia a 150,80 yuan por ação, estabelecendo uma capitalização de mercado pós-emissão de aproximadamente 60,993 bilhões de yuan. Com uma relaç
Nó Ali Zhenwu M890 Ultra agora compatível com Qwen3.8, disponível na plataforma BaiLian para inferência Nó Ali Zhenwu M890 Ultra agora compatível com Qwen3.8, disponível na plataforma BaiLian para inferência A Alibaba Cloud confirmou em 23 de julho que seu supernó Zhenwu M890 foi integrado com sucesso ao mais recente modelo de grande escala de ponta, Qwen3.8, tornando-o disponível para serviços de inferência de modelos na plataforma Alibaba Cloud BaiLian
Recomendações de tópicos especiais relacionados
automação Ferramentas de automação com IA da n8n para operações internas, sincronização de dados e fluxos de agentes com várias etapas
Ferramentas de automação com IA da n8n para operações internas, sincronização de dados e fluxos de agentes com várias etapas

As melhores e mais recentes ferramentas de automação com IA n8n de 2026 para operações internas, sincronização de dados e fluxos de agentes com várias etapas já estão disponíveis! A XIX.AI selecionou uma lista das ferramentas mais bem avaliadas e poderosas, capazes de revolucionar o seu trabalho e aumentar a produtividade em todas as tarefas. Cada item passa por rigorosos testes práticos para garantir a confiabilidade, com comparações detalhadas entre versões gratuitas e pagas e rankings atualizados semanalmente. Opções imperdíveis ajudam você a aproveitar ao máximo o potencial da IA e otimizar fluxos de trabalho sem esforço. Explore agora para descobrir a ferramenta perfeita para você!

11 ferramentas
xix.ai
Incitar As melhores ferramentas de gerenciamento de prompts para equipes multimodelo
As melhores ferramentas de gerenciamento de prompts para equipes multimodelo

2026: As melhores e mais bem avaliadas ferramentas de gerenciamento de prompts para equipes multimodelo! A XIX.AI selecionou uma coleção poderosa e revolucionária de ferramentas imperdíveis, que oferecem comparações entre versões gratuitas e pagas, testes práticos e classificações detalhadas. Essas soluções com as melhores avaliações ajudam a aumentar significativamente a produtividade, otimizando fluxos de trabalho, eliminando repetições e estimulando a criatividade em todos os projetos da equipe. Explore agora para descobrir a ferramenta perfeita para você e comece a criar hoje mesmo!

9 ferramentas
xix.ai
Assistente de Reunião Ferramentas de resumo de reuniões com IA para equipes remotas
Ferramentas de resumo de reuniões com IA para equipes remotas

As melhores e mais bem avaliadas ferramentas de resumo de reuniões com IA para equipes remotas em 2026! A XIX.AI selecionou um conjunto poderoso e revolucionário de ferramentas imperdíveis, submetidas a testes práticos para oferecer transcrições precisas e insights úteis. Você encontrará comparações entre versões gratuitas e pagas, além de rankings detalhados, para ajudá-lo a escolher a opção perfeita que aumenta a produtividade e otimiza a comunicação da equipe. Explore agora e descubra sua vantagem com IA!

13 ferramentas
xix.ai
Desenvolvimento de software Os melhores assistentes de AI para DevOps: monitore implantações, logs e incidentes
Os melhores assistentes de AI para DevOps: monitore implantações, logs e incidentes

2026 – Os melhores e mais bem avaliados assistentes de DevOps baseados em IA, selecionados especialmente para o monitoramento de implantações, registros e incidentes. A XIX.AI oferece ferramentas poderosas e revolucionárias que aumentam significativamente a produtividade, graças a testes em condições reais e a uma classificação rigorosa. Confira uma comparação gratuita com as versões pagas para encontrar a solução ideal para o seu fluxo de trabalho. Explore agora e aproveite todas as vantagens oferecidas pela inteligência artificial.

7 ferramentas
xix.ai
Edição de imagem Ferramentas de remoção de fundo com IA para fotos de produtos
Ferramentas de remoção de fundo com IA para fotos de produtos

As melhores e mais bem avaliadas ferramentas de remoção de fundo com IA para fotos de produtos de 2026 já estão disponíveis aqui no XIX.AI! Nossa lista selecionada inclui soluções poderosas e revolucionárias que oferecem resultados profissionais comprovados por testes reais. Você encontrará uma comparação entre versões gratuitas e pagas, rankings atualizados semanalmente e opções imperdíveis para ajudá-lo a aumentar a produtividade e criar fotos de produtos impecáveis sem nenhum trabalho. Explore agora para aproveitar toda a vantagem da IA!

11 ferramentas
xix.ai
código Ferramentas de revisão de pull requests com IA para repositórios do GitHub
Ferramentas de revisão de pull requests com IA para repositórios do GitHub

As melhores e mais bem avaliadas ferramentas de 2026 para revisão de pull requests com IA em repositórios do GitHub estão aqui no XIX.AI! Nossa lista selecionada apresenta soluções poderosas e revolucionárias que ajudam as equipes a otimizar as revisões de código, detectar erros mais rapidamente e aumentar a produtividade com testes em condições reais. Veja uma comparação entre as versões gratuita e paga para encontrar a ferramenta perfeita para o seu fluxo de trabalho. Explore agora para descobrir sua vantagem com IA!

10 ferramentas
xix.ai
Comentários (0)
0/500
OR