opção
Lar
Notícias
A Aliyun, do Alibaba, lança o Fun-CineForge: modelo e conjunto de dados de dublagem com qualidade cinematográfica disponibilizados como código aberto

A Aliyun, do Alibaba, lança o Fun-CineForge: modelo e conjunto de dados de dublagem com qualidade cinematográfica disponibilizados como código aberto

7 de Maio de 2026
79

Recentemente, o projeto Fun-CineForge, desenvolvido pela equipe de processamento de fala do Alibaba Tongyi Lab em colaboração com a Universidade de Ciência e Tecnologia da China, foi oficialmente disponibilizado como código aberto. Essa iniciativa aborda os principais desafios da dublagem de filmes e programas de televisão — como sincronização labial, transferência de estilo de voz e expressão emocional — por meio da introdução de um fluxo de trabalho de produção abrangente de ponta a ponta e de soluções baseadas em modelos de grande escala.

image.png

Principais avanços: resolvendo o problema da “falta de sincronização” na dublagem de filmes

A dublagem tradicional com IA frequentemente enfrenta problemas como movimentos labiais incompatíveis, expressão emocional robótica e dificuldade em se adaptar a cenas cinematográficas complexas envolvendo diálogos e acústica com várias pessoas. O Fun-CineForge alcança um avanço significativo por meio de duas inovações-chave:

Modelo de dublagem MLLM: indo além do simples alinhamento de áudio e vídeo na área dos lábios, ele emprega uma arquitetura de modelo de linguagem multimodal de grande porte (MLLM) capaz de compreender profundamente a identidade de um personagem e as nuances emocionais dentro de uma cena.

Conjunto de dados em grande escala CineDub: O projeto criou o primeiro conjunto de dados de dublagem de programas de TV chineses ricamente anotado por meio de um pipeline automatizado, cobrindo diversos cenários como monólogos, narração, diálogos e interações entre vários interlocutores.

Atualizações do projeto e roteiro de código aberto

O projeto tem recebido atualizações frequentes recentemente, indicando um alto nível de maturidade de engenharia:

Janeiro a março de 2026: Lançamento de conjuntos de dados de amostra e demonstrações tanto para chinês (CineDub-CN) quanto para inglês (CineDub-EN).

16 de março de 2026: Tornou oficialmente o código de inferência e os pesos do modelo (Checkpoints) de código aberto, permitindo que desenvolvedores acessem esses recursos no GitHub.

Acesso ao conjunto de dados: Vários conjuntos de dados de séries clássicas estão agora disponíveis para pesquisa, incluindo a série chinesa “O Sonho da Câmara Vermelha” e a série inglesa “Downton Abbey”.

Aplicação técnica: do “diálogo” à “interpretação”

Demonstrações oficiais mostram que o modelo apresenta resultados impressionantes na refilmagem de séries clássicas como “Romance dos Três Reinos”. Ao inserir “pistas emocionais” específicas, o modelo consegue capturar com precisão a mudança emocional de um personagem — do medo ao desafio —, alcançando clonagem de voz de alta fidelidade e sincronização labial natural.

O lançamento do Fun-CineForge sinaliza uma mudança na dublagem de filmes e programas de TV com IA, passando da simples "conversão de texto em fala" para uma ferramenta de "pós-produção automatizada" com compreensão artística. Esse avanço está prestes a reduzir significativamente os custos de produção de conteúdo dublado para cinema e televisão.

Projeto: https://funcineforge.github.io/

Artigo relacionado
A OpenAI se alia ao Departamento de Defesa dos EUA; as instalações do ChatGPT aumentam em 295%. A OpenAI se alia ao Departamento de Defesa dos EUA; as instalações do ChatGPT aumentam em 295%. Indignação Pública: A Parceria Militar da OpenAI Provoca uma “Onda de Desinstalações”Recentemente, a líder em tecnologia de IA, OpenAI, anunciou uma parceria profunda com o Departamento de Defesa dos EUA, integrando seus modelos de IA em redes milit
A OpenAI lança o recurso A OpenAI lança o recurso "Sites", marcando o fim da era "no-code" com sites criados a partir de texto A OpenAI lançou o Sites, um novo recurso para o Codex, sua IA para engenharia de software. Atualmente em fase de pré-lançamento, ele está disponível apenas para assinantes pagantes dos planos Business
A OpenAI adquiriu a startup de finanças pessoais baseada em inteligência artificial Hiro. A OpenAI adquiriu a startup de finanças pessoais baseada em inteligência artificial Hiro. A OpenAI adquiriu a startup de finanças pessoais Hiro Finance, anunciou o fundador Ethan Bloch na segunda-feira, e a OpenAI confirmou a transação ao TechCrunch. A startup contava com o apoio da importante empresa de capital de risco em fintech Ribbit
Recomendações de tópicos especiais relacionados
chatbot Orquestradores de Múltiplos Agentes IA: Projeto de Fluxos de Trabalho Automatizados Complexos através do Linguagem Natural
Orquestradores de Múltiplos Agentes IA: Projeto de Fluxos de Trabalho Automatizados Complexos através do Linguagem Natural

2026 Mais recente: Descubra os melhores orquestradores multi-agente de IA para projetar fluxos de trabalho automatizados complexos através do uso da linguagem natural. Nossa lista selecionada apresenta plataformas poderosas e altamente avaliadas para uma automação de tarefas sem falhas e um gerenciamento inteligente de processos. Compare opções gratuitas e pagas com informações reais do mundo real. Desfrute de uma vantagem competitiva com as classificações atualizadas semanalmente por especialistas da XIX.AI.

10 ferramentas
xix.ai
Edição de imagem Melhores softwares de redução de ruído por IA: Remova granulação e artefatos em fotografias noturnas com baixa luz
Melhores softwares de redução de ruído por IA: Remova granulação e artefatos em fotografias noturnas com baixa luz

Descubra os melhores softwares de redução de ruído por IA de 2026 para fotografias noturnas em baixas condições de luz. Nossa lista selecionada e avaliada compara ferramentas gratuitas e pagas, apresentando testes reais e classificações atualizadas semanalmente. Remova facilmente granulação e distorções nas imagens. Desfrute das vantagens da inteligência artificial em XIX.AI.

10 ferramentas
xix.ai
chatbot Os melhores geradores personalizados de namoradas virtuais com IA: crie personalidades, hobbies e histórias de vida exclusivas
Os melhores geradores personalizados de namoradas virtuais com IA: crie personalidades, hobbies e histórias de vida exclusivas

Descubra os melhores geradores personalizados de namoradas com IA de 2026 no XIX.AI. Explore nossa lista selecionada e com as melhores avaliações para criar personalidades únicas, hobbies e histórias de fundo detalhadas. Compare as opções gratuitas com as pagas com informações reais. Encontre hoje mesmo sua companheira criativa perfeita.

10 ferramentas
xix.ai
Produtividade Projetistas de arquitetura de IA: criem arquiteturas de sistemas escaláveis usando linguagem natural
Projetistas de arquitetura de IA: criem arquiteturas de sistemas escaláveis usando linguagem natural

Descubra as melhores ferramentas de projeto de arquitetura de IA de 2026 no XIX.AI. Nossa lista selecionada e com as melhores avaliações apresenta soluções poderosas e revolucionárias para criar arquiteturas de sistemas escaláveis usando linguagem natural. Compare opções gratuitas e pagas com informações práticas. Aproveite ao máximo sua vantagem em IA e otimize o desenvolvimento hoje mesmo.

10 ferramentas
xix.ai
Criação de quadrinhos Criadores de Perfis de Personagens AI: Gere Histórias Detalhadas e Referências Visuais para Personagens Principais em Mangás
Criadores de Perfis de Personagens AI: Gere Histórias Detalhadas e Referências Visuais para Personagens Principais em Mangás

Os melhores criadores de perfis de personagens AI de 2026: Descubra ferramentas altamente avaliadas para gerar histórias detalhadas e referências visuais para seus personagens principais em mangá. Nossa lista, atualizada semanalmente, compara opções gratuitas e pagas com base em testes reais. Encontre soluções poderosas que podem transformar seu processo criativo e ajudá-lo a criar personagens envolventes de forma mais eficiente. Explore as classificações no XIX.AI e descubra hoje mesmo o aliado perfeito para sua narrativa.

10 ferramentas
xix.ai
Saúde e Bem-Estar Copilotos de gravidez com IA: gere planos seguros de exercícios e nutrição, trimestre a trimestre
Copilotos de gravidez com IA: gere planos seguros de exercícios e nutrição, trimestre a trimestre

Descubra os melhores assistentes de IA para a gravidez de 2026, com planos de exercícios e nutrição seguros e personalizados, trimestre a trimestre. Receba recomendações selecionadas e com as melhores avaliações, incluindo comparações entre opções gratuitas e pagas, além de informações práticas. Comece sua jornada de gravidez da maneira mais saudável com o guia especializado da XIX.AI. Explore agora.

10 ferramentas
xix.ai
Comentários (0)
0/500
OR