вариант
Дом
Новости
Aliyun (подразделение Alibaba) представляет Fun-CineForge: модель и набор данных для дубляжа кинофильмов, доступные в открытом доступе

Aliyun (подразделение Alibaba) представляет Fun-CineForge: модель и набор данных для дубляжа кинофильмов, доступные в открытом доступе

7 мая 2026 г.
79

Недавно проект Fun-CineForge, разработанный командой специалистов по обработке речи из Alibaba Tongyi Lab в сотрудничестве с Китайским университетом науки и технологий, был официально переведен в открытый доступ. Эта инициатива направлена на решение ключевых задач в области дубляжа кино- и телефильмов — таких как синхронизация движения губ, перенос стиля речи и передача эмоций — за счет внедрения комплексного сквозного производственного рабочего процесса и решений на основе крупномасштабных моделей.

image.png

Основные прорывы: решение проблемы «рассогласованности» при дубляже фильмов

Традиционный дубляж с использованием ИИ часто сталкивается с такими проблемами, как несоответствие движений губ, роботизированная передача эмоций и сложность адаптации к сложным кинематографическим сценам, включающим диалоги и акустику с участием нескольких человек. Fun-CineForge добивается значительного прорыва благодаря двум ключевым инновациям:

Модель дубляжа MLLM: выходя за рамки простого согласования аудио и видео в области губ, она использует архитектуру мультимодальной большой языковой модели (MLLM), способную глубоко понимать личность персонажа и эмоциональные нюансы в сцене.

Крупномасштабный набор данных CineDub: в рамках проекта был создан первый набор данных с обширными аннотациями по дубляжу китайских телешоу с помощью автоматизированного конвейера, охватывающий различные сценарии, такие как монологи, повествование, диалоги и взаимодействия с участием нескольких говорящих.

Новости проекта и план развития открытого исходного кода

В последнее время проект часто обновлялся, что свидетельствует о высоком уровне технической зрелости:

Январь–март 2026 года: выпущены примеры наборов данных и демонстрационные версии как для китайского (CineDub-CN), так и для английского (CineDub-EN) языков.

16 марта 2026 г.: официально открыт исходный код и веса модели (контрольные точки), что позволяет разработчикам получить доступ к этим ресурсам на GitHub.

Доступ к наборам данных: для исследований теперь доступны несколько наборов данных из классических сериалов, включая китайский сериал «Сон в красном тереме» и английский сериал «Аббатство Даунтон».

Техническое применение: от «диалога» к «исполнению»

Официальные демонстрации показывают, что модель дает впечатляющие результаты при переработке классических сериалов, таких как «Роман о Трёх царствах». Вводя конкретные «эмоциональные подсказки», модель может точно уловить эмоциональный сдвиг персонажа — от страха к вызову — достигая высококачественного клонирования голоса и естественной синхронизации губ.

Запуск Fun-CineForge знаменует собой переход в области дубляжа фильмов и телепрограмм с помощью ИИ от базового «преобразования текста в речь» к инструменту «автоматизированной постпродакшн-обработки» с художественным пониманием. Этот прогресс призван значительно сократить производственные затраты на дублированный кино- и телеконтент.

Проект: https://funcineforge.github.io/

Связанная статья
МИИТ просит общественность дать отзывы по 121 отраслевому стандарту, включая Протокол контекста моделей искусственного интеллекта МИИТ просит общественность дать отзывы по 121 отраслевому стандарту, включая Протокол контекста моделей искусственного интеллекта Министерство промышленности и информационных технологий Китая официально опубликовало уведомление с призывом к общественным отзывам по 121 проекту в области стандартизации промышленности, включая «Требования к безопасности приложений в контексте моде
OpenAI сотрудничает с Министерством обороны США; количество случаев деинсталляции ChatGPT увеличилось на 295%. OpenAI сотрудничает с Министерством обороны США; количество случаев деинсталляции ChatGPT увеличилось на 295%. Общественный гнев: Военное сотрудничество OpenAI вызывает волну отзывов о необходимости удаления приложенияНедавно ведущая компания в области искусственного интеллекта OpenAI объявила о тесном сотрудничестве с Министерством обороны США, предусматрив
OpenAI запускает функцию «Сайты», положив конец эре «безкодового» программирования благодаря веб-сайтам на базе Word OpenAI запускает функцию «Сайты», положив конец эре «безкодового» программирования благодаря веб-сайтам на базе Word Компания OpenAI представила Sites — новую функцию для Codex, своего ИИ-решения для разработки программного обеспечения. В настоящее время функция находится в стадии предварительного доступа и доступна
Рекомендации по связанным специальным темам
Создание видео Лучшие платформы для преобразования текста в видео с помощью ИИ для написания сценариев и визуального повествования
Лучшие платформы для преобразования текста в видео с помощью ИИ для написания сценариев и визуального повествования

2026: лучшие платформы для преобразования текста в видео с помощью ИИ: самые популярные инструменты для написания сценариев и визуального повествования. Откройте для себя мощные, революционные решения, которые помогут превратить ваш текст в увлекательные видеоролики. Сравните бесплатные и платные варианты с помощью наших еженедельно обновляемых рейтингов и реальных тестов. Найдите идеальную платформу, которая поможет вам раскрыть свой творческий потенциал и повысить продуктивность. Ознакомьтесь с тщательно подобранной подборкой на сайте XIX.AI.

10 инструментов
xix.ai
чат-бот АИ-оркестраторы множественных агентов: создание сложных автоматизированных рабочих процессов с использованием естественного языка
АИ-оркестраторы множественных агентов: создание сложных автоматизированных рабочих процессов с использованием естественного языка

2026 Год: Откройте для себя лучшие инструменты на основе искусственного интеллекта, предназначенные для создания сложных автоматизированных рабочих процессов с использованием естественного языка. Наш отобранный список включает наиболее популярные и мощные платформы, обеспечивающие бесшовную автоматизацию задач и интеллектуальное управление процессами. Сравните бесплатные и платные варианты с примерами реального использования. Получите преимущества, предоставляемые технологиями искусственного интеллекта, благодаря еженедельно обновляемым рейтингам от XIX.AI.

10 инструментов
xix.ai
Редактирование изображений Лучшее программное обеспечение для снижения шума на основе искусственного интеллекта: устранение зерна и артефактов на снимках, сделанных в условиях слабого освещения ночью
Лучшее программное обеспечение для снижения шума на основе искусственного интеллекта: устранение зерна и артефактов на снимках, сделанных в условиях слабого освещения ночью

Откройте для себя лучшие программы по уменьшению шума на основе искусственного интеллекта в 2026 году, предназначенные для фотографии в условиях слабого освещения ночью. Наш список, составленный специально для вас, сравнивает бесплатные и платные инструменты, включает результаты реальных тестов и еженедельно обновляемые рейтинги. Избавьтесь от шума и других нежелательных эффектов без особых усилий. Откройте для себя преимущества искусственного интеллекта в сервисе XIX.AI.

10 инструментов
xix.ai
чат-бот Лучшие генераторы индивидуальных ИИ-подруг: создавайте уникальные характеры, увлечения и истории
Лучшие генераторы индивидуальных ИИ-подруг: создавайте уникальные характеры, увлечения и истории

Откройте для себя 2026 лучших генераторов индивидуальных ИИ-подруг на сайте XIX.AI. Ознакомьтесь с нашим тщательно отобранным списком самых популярных сервисов, которые помогут вам создать уникальные личности, увлечения и глубокие предыстории. Сравните бесплатные и платные варианты с помощью реальных отзывов. Найдите своего идеального творческого спутника уже сегодня.

10 инструментов
xix.ai
Производительность Разработчики архитектуры ИИ: создание масштабируемых системных архитектур с использованием естественного языка
Разработчики архитектуры ИИ: создание масштабируемых системных архитектур с использованием естественного языка

Откройте для себя лучшие инструменты для проектирования архитектуры ИИ 2026 года на сайте XIX.AI. В нашем тщательно отобранном списке лидеров представлены мощные, революционные решения для создания масштабируемых системных архитектур с помощью естественного языка. Сравните бесплатные и платные варианты, опираясь на реальные отзывы. Раскройте свой потенциал в сфере ИИ и оптимизируйте процесс разработки уже сегодня.

10 инструментов
xix.ai
Создание комиксов Создатели профилей персонажей на основе ИИ: генерация подробных предысторий и визуальных материалов для главных героев манги
Создатели профилей персонажей на основе ИИ: генерация подробных предысторий и визуальных материалов для главных героев манги

2026: Лучшие инструменты для создания профилей персонажей на основе технологий искусственного интеллекта: Ознакомьтесь с высоко оцененными программами, которые позволяют создавать подробные предыстории персонажей и визуальные материалы для вашего манги. Наш еженедельно обновляемый список сравнивает бесплатные и платные варианты на основе реальных тестов. Обнаружите мощные инструменты, которые помогут создавать убедительных персонажей и упростят ваш творческий процесс. Ознакомьтесь с рейтингами на сайте XIX.AI и выберите наиболее подходящий инструмент для создания вашего сюжета уже сегодня.

10 инструментов
xix.ai
Комментарии (0)
0/500
OR