Дом
Aliyun (подразделение Alibaba) представляет Fun-CineForge: модель и набор данных для дубляжа кинофильмов, доступные в открытом доступе
Недавно проект Fun-CineForge, разработанный командой специалистов по обработке речи из Alibaba Tongyi Lab в сотрудничестве с Китайским университетом науки и технологий, был официально переведен в открытый доступ. Эта инициатива направлена на решение ключевых задач в области дубляжа кино- и телефильмов — таких как синхронизация движения губ, перенос стиля речи и передача эмоций — за счет внедрения комплексного сквозного производственного рабочего процесса и решений на основе крупномасштабных моделей.

Основные прорывы: решение проблемы «рассогласованности» при дубляже фильмов
Традиционный дубляж с использованием ИИ часто сталкивается с такими проблемами, как несоответствие движений губ, роботизированная передача эмоций и сложность адаптации к сложным кинематографическим сценам, включающим диалоги и акустику с участием нескольких человек. Fun-CineForge добивается значительного прорыва благодаря двум ключевым инновациям:
Модель дубляжа MLLM: выходя за рамки простого согласования аудио и видео в области губ, она использует архитектуру мультимодальной большой языковой модели (MLLM), способную глубоко понимать личность персонажа и эмоциональные нюансы в сцене.
Крупномасштабный набор данных CineDub: в рамках проекта был создан первый набор данных с обширными аннотациями по дубляжу китайских телешоу с помощью автоматизированного конвейера, охватывающий различные сценарии, такие как монологи, повествование, диалоги и взаимодействия с участием нескольких говорящих.
Новости проекта и план развития открытого исходного кода
В последнее время проект часто обновлялся, что свидетельствует о высоком уровне технической зрелости:
Январь–март 2026 года: выпущены примеры наборов данных и демонстрационные версии как для китайского (CineDub-CN), так и для английского (CineDub-EN) языков.
16 марта 2026 г.: официально открыт исходный код и веса модели (контрольные точки), что позволяет разработчикам получить доступ к этим ресурсам на GitHub.
Доступ к наборам данных: для исследований теперь доступны несколько наборов данных из классических сериалов, включая китайский сериал «Сон в красном тереме» и английский сериал «Аббатство Даунтон».
Техническое применение: от «диалога» к «исполнению»
Официальные демонстрации показывают, что модель дает впечатляющие результаты при переработке классических сериалов, таких как «Роман о Трёх царствах». Вводя конкретные «эмоциональные подсказки», модель может точно уловить эмоциональный сдвиг персонажа — от страха к вызову — достигая высококачественного клонирования голоса и естественной синхронизации губ.
Запуск Fun-CineForge знаменует собой переход в области дубляжа фильмов и телепрограмм с помощью ИИ от базового «преобразования текста в речь» к инструменту «автоматизированной постпродакшн-обработки» с художественным пониманием. Этот прогресс призван значительно сократить производственные затраты на дублированный кино- и телеконтент.
Проект: https://funcineforge.github.io/
Связанная статья
МИИТ просит общественность дать отзывы по 121 отраслевому стандарту, включая Протокол контекста моделей искусственного интеллекта
Министерство промышленности и информационных технологий Китая официально опубликовало уведомление с призывом к общественным отзывам по 121 проекту в области стандартизации промышленности, включая «Требования к безопасности приложений в контексте моде
OpenAI сотрудничает с Министерством обороны США; количество случаев деинсталляции ChatGPT увеличилось на 295%.
Общественный гнев: Военное сотрудничество OpenAI вызывает волну отзывов о необходимости удаления приложенияНедавно ведущая компания в области искусственного интеллекта OpenAI объявила о тесном сотрудничестве с Министерством обороны США, предусматрив
OpenAI запускает функцию «Сайты», положив конец эре «безкодового» программирования благодаря веб-сайтам на базе Word
Компания OpenAI представила Sites — новую функцию для Codex, своего ИИ-решения для разработки программного обеспечения. В настоящее время функция находится в стадии предварительного доступа и доступна
Рекомендации по связанным специальным темам
Комментарии (0)
Недавно проект Fun-CineForge, разработанный командой специалистов по обработке речи из Alibaba Tongyi Lab в сотрудничестве с Китайским университетом науки и технологий, был официально переведен в открытый доступ. Эта инициатива направлена на решение ключевых задач в области дубляжа кино- и телефильмов — таких как синхронизация движения губ, перенос стиля речи и передача эмоций — за счет внедрения комплексного сквозного производственного рабочего процесса и решений на основе крупномасштабных моделей.

Основные прорывы: решение проблемы «рассогласованности» при дубляже фильмов
Традиционный дубляж с использованием ИИ часто сталкивается с такими проблемами, как несоответствие движений губ, роботизированная передача эмоций и сложность адаптации к сложным кинематографическим сценам, включающим диалоги и акустику с участием нескольких человек. Fun-CineForge добивается значительного прорыва благодаря двум ключевым инновациям:
Модель дубляжа MLLM: выходя за рамки простого согласования аудио и видео в области губ, она использует архитектуру мультимодальной большой языковой модели (MLLM), способную глубоко понимать личность персонажа и эмоциональные нюансы в сцене.
Крупномасштабный набор данных CineDub: в рамках проекта был создан первый набор данных с обширными аннотациями по дубляжу китайских телешоу с помощью автоматизированного конвейера, охватывающий различные сценарии, такие как монологи, повествование, диалоги и взаимодействия с участием нескольких говорящих.
Новости проекта и план развития открытого исходного кода
В последнее время проект часто обновлялся, что свидетельствует о высоком уровне технической зрелости:
Январь–март 2026 года: выпущены примеры наборов данных и демонстрационные версии как для китайского (CineDub-CN), так и для английского (CineDub-EN) языков.
16 марта 2026 г.: официально открыт исходный код и веса модели (контрольные точки), что позволяет разработчикам получить доступ к этим ресурсам на GitHub.
Доступ к наборам данных: для исследований теперь доступны несколько наборов данных из классических сериалов, включая китайский сериал «Сон в красном тереме» и английский сериал «Аббатство Даунтон».
Техническое применение: от «диалога» к «исполнению»
Официальные демонстрации показывают, что модель дает впечатляющие результаты при переработке классических сериалов, таких как «Роман о Трёх царствах». Вводя конкретные «эмоциональные подсказки», модель может точно уловить эмоциональный сдвиг персонажа — от страха к вызову — достигая высококачественного клонирования голоса и естественной синхронизации губ.
Запуск Fun-CineForge знаменует собой переход в области дубляжа фильмов и телепрограмм с помощью ИИ от базового «преобразования текста в речь» к инструменту «автоматизированной постпродакшн-обработки» с художественным пониманием. Этот прогресс призван значительно сократить производственные затраты на дублированный кино- и телеконтент.
Проект: https://funcineforge.github.io/
МИИТ просит общественность дать отзывы по 121 отраслевому стандарту, включая Протокол контекста моделей искусственного интеллекта
Министерство промышленности и информационных технологий Китая официально опубликовало уведомление с призывом к общественным отзывам по 121 проекту в области стандартизации промышленности, включая «Требования к безопасности приложений в контексте моде
OpenAI сотрудничает с Министерством обороны США; количество случаев деинсталляции ChatGPT увеличилось на 295%.
Общественный гнев: Военное сотрудничество OpenAI вызывает волну отзывов о необходимости удаления приложенияНедавно ведущая компания в области искусственного интеллекта OpenAI объявила о тесном сотрудничестве с Министерством обороны США, предусматрив
OpenAI запускает функцию «Сайты», положив конец эре «безкодового» программирования благодаря веб-сайтам на базе Word
Компания OpenAI представила Sites — новую функцию для Codex, своего ИИ-решения для разработки программного обеспечения. В настоящее время функция находится в стадии предварительного доступа и доступна











