Lar
A Aliyun, do Alibaba, lança o Fun-CineForge: modelo e conjunto de dados de dublagem com qualidade cinematográfica disponibilizados como código aberto
Recentemente, o projeto Fun-CineForge, desenvolvido pela equipe de processamento de fala do Alibaba Tongyi Lab em colaboração com a Universidade de Ciência e Tecnologia da China, foi oficialmente disponibilizado como código aberto. Essa iniciativa aborda os principais desafios da dublagem de filmes e programas de televisão — como sincronização labial, transferência de estilo de voz e expressão emocional — por meio da introdução de um fluxo de trabalho de produção abrangente de ponta a ponta e de soluções baseadas em modelos de grande escala.

Principais avanços: resolvendo o problema da “falta de sincronização” na dublagem de filmes
A dublagem tradicional com IA frequentemente enfrenta problemas como movimentos labiais incompatíveis, expressão emocional robótica e dificuldade em se adaptar a cenas cinematográficas complexas envolvendo diálogos e acústica com várias pessoas. O Fun-CineForge alcança um avanço significativo por meio de duas inovações-chave:
Modelo de dublagem MLLM: indo além do simples alinhamento de áudio e vídeo na área dos lábios, ele emprega uma arquitetura de modelo de linguagem multimodal de grande porte (MLLM) capaz de compreender profundamente a identidade de um personagem e as nuances emocionais dentro de uma cena.
Conjunto de dados em grande escala CineDub: O projeto criou o primeiro conjunto de dados de dublagem de programas de TV chineses ricamente anotado por meio de um pipeline automatizado, cobrindo diversos cenários como monólogos, narração, diálogos e interações entre vários interlocutores.
Atualizações do projeto e roteiro de código aberto
O projeto tem recebido atualizações frequentes recentemente, indicando um alto nível de maturidade de engenharia:
Janeiro a março de 2026: Lançamento de conjuntos de dados de amostra e demonstrações tanto para chinês (CineDub-CN) quanto para inglês (CineDub-EN).
16 de março de 2026: Tornou oficialmente o código de inferência e os pesos do modelo (Checkpoints) de código aberto, permitindo que desenvolvedores acessem esses recursos no GitHub.
Acesso ao conjunto de dados: Vários conjuntos de dados de séries clássicas estão agora disponíveis para pesquisa, incluindo a série chinesa “O Sonho da Câmara Vermelha” e a série inglesa “Downton Abbey”.
Aplicação técnica: do “diálogo” à “interpretação”
Demonstrações oficiais mostram que o modelo apresenta resultados impressionantes na refilmagem de séries clássicas como “Romance dos Três Reinos”. Ao inserir “pistas emocionais” específicas, o modelo consegue capturar com precisão a mudança emocional de um personagem — do medo ao desafio —, alcançando clonagem de voz de alta fidelidade e sincronização labial natural.
O lançamento do Fun-CineForge sinaliza uma mudança na dublagem de filmes e programas de TV com IA, passando da simples "conversão de texto em fala" para uma ferramenta de "pós-produção automatizada" com compreensão artística. Esse avanço está prestes a reduzir significativamente os custos de produção de conteúdo dublado para cinema e televisão.
Projeto: https://funcineforge.github.io/
Artigo relacionado
A OpenAI se alia ao Departamento de Defesa dos EUA; as instalações do ChatGPT aumentam em 295%.
Indignação Pública: A Parceria Militar da OpenAI Provoca uma “Onda de Desinstalações”Recentemente, a líder em tecnologia de IA, OpenAI, anunciou uma parceria profunda com o Departamento de Defesa dos EUA, integrando seus modelos de IA em redes milit
A OpenAI lança o recurso "Sites", marcando o fim da era "no-code" com sites criados a partir de texto
A OpenAI lançou o Sites, um novo recurso para o Codex, sua IA para engenharia de software. Atualmente em fase de pré-lançamento, ele está disponível apenas para assinantes pagantes dos planos Business
A OpenAI adquiriu a startup de finanças pessoais baseada em inteligência artificial Hiro.
A OpenAI adquiriu a startup de finanças pessoais Hiro Finance, anunciou o fundador Ethan Bloch na segunda-feira, e a OpenAI confirmou a transação ao TechCrunch. A startup contava com o apoio da importante empresa de capital de risco em fintech Ribbit
Recomendações de tópicos especiais relacionados
Comentários (0)
Recentemente, o projeto Fun-CineForge, desenvolvido pela equipe de processamento de fala do Alibaba Tongyi Lab em colaboração com a Universidade de Ciência e Tecnologia da China, foi oficialmente disponibilizado como código aberto. Essa iniciativa aborda os principais desafios da dublagem de filmes e programas de televisão — como sincronização labial, transferência de estilo de voz e expressão emocional — por meio da introdução de um fluxo de trabalho de produção abrangente de ponta a ponta e de soluções baseadas em modelos de grande escala.

Principais avanços: resolvendo o problema da “falta de sincronização” na dublagem de filmes
A dublagem tradicional com IA frequentemente enfrenta problemas como movimentos labiais incompatíveis, expressão emocional robótica e dificuldade em se adaptar a cenas cinematográficas complexas envolvendo diálogos e acústica com várias pessoas. O Fun-CineForge alcança um avanço significativo por meio de duas inovações-chave:
Modelo de dublagem MLLM: indo além do simples alinhamento de áudio e vídeo na área dos lábios, ele emprega uma arquitetura de modelo de linguagem multimodal de grande porte (MLLM) capaz de compreender profundamente a identidade de um personagem e as nuances emocionais dentro de uma cena.
Conjunto de dados em grande escala CineDub: O projeto criou o primeiro conjunto de dados de dublagem de programas de TV chineses ricamente anotado por meio de um pipeline automatizado, cobrindo diversos cenários como monólogos, narração, diálogos e interações entre vários interlocutores.
Atualizações do projeto e roteiro de código aberto
O projeto tem recebido atualizações frequentes recentemente, indicando um alto nível de maturidade de engenharia:
Janeiro a março de 2026: Lançamento de conjuntos de dados de amostra e demonstrações tanto para chinês (CineDub-CN) quanto para inglês (CineDub-EN).
16 de março de 2026: Tornou oficialmente o código de inferência e os pesos do modelo (Checkpoints) de código aberto, permitindo que desenvolvedores acessem esses recursos no GitHub.
Acesso ao conjunto de dados: Vários conjuntos de dados de séries clássicas estão agora disponíveis para pesquisa, incluindo a série chinesa “O Sonho da Câmara Vermelha” e a série inglesa “Downton Abbey”.
Aplicação técnica: do “diálogo” à “interpretação”
Demonstrações oficiais mostram que o modelo apresenta resultados impressionantes na refilmagem de séries clássicas como “Romance dos Três Reinos”. Ao inserir “pistas emocionais” específicas, o modelo consegue capturar com precisão a mudança emocional de um personagem — do medo ao desafio —, alcançando clonagem de voz de alta fidelidade e sincronização labial natural.
O lançamento do Fun-CineForge sinaliza uma mudança na dublagem de filmes e programas de TV com IA, passando da simples "conversão de texto em fala" para uma ferramenta de "pós-produção automatizada" com compreensão artística. Esse avanço está prestes a reduzir significativamente os custos de produção de conteúdo dublado para cinema e televisão.
Projeto: https://funcineforge.github.io/
A OpenAI se alia ao Departamento de Defesa dos EUA; as instalações do ChatGPT aumentam em 295%.
Indignação Pública: A Parceria Militar da OpenAI Provoca uma “Onda de Desinstalações”Recentemente, a líder em tecnologia de IA, OpenAI, anunciou uma parceria profunda com o Departamento de Defesa dos EUA, integrando seus modelos de IA em redes milit
A OpenAI lança o recurso "Sites", marcando o fim da era "no-code" com sites criados a partir de texto
A OpenAI lançou o Sites, um novo recurso para o Codex, sua IA para engenharia de software. Atualmente em fase de pré-lançamento, ele está disponível apenas para assinantes pagantes dos planos Business
A OpenAI adquiriu a startup de finanças pessoais baseada em inteligência artificial Hiro.
A OpenAI adquiriu a startup de finanças pessoais Hiro Finance, anunciou o fundador Ethan Bloch na segunda-feira, e a OpenAI confirmou a transação ao TechCrunch. A startup contava com o apoio da importante empresa de capital de risco em fintech Ribbit











