Дом
Лаборатория Tongyi компании Alibaba открыла исходный код Fun-CineForge, решив проблему дубляжа с участием нескольких дикторов
Традиционный дубляж с использованием искусственного интеллекта зачастую не справляется с задачами в таких ответственных проектах, как кино и анимация, где первостепенное значение имеет передача тонких эмоциональных пиков и идеальная синхронизация с движением губ. Чтобы решить эту ключевую проблему отрасли, Tongyi Lab официально представила и открыла исходный код революционной мультимодальной модели дубляжа киноуровня для различных сценариев — Fun-CineForge .
Преодоление аудиовизуального разрыва: четырехкомпонентная структура для безупречной синхронизации
Вместо того чтобы полагаться на базовую технологию преобразования текста в речь, Fun-CineForge разработана для овладения четырьмя критически важными аспектами профессионального дубляжа:
Синхронизация губ: обеспечивает исключительную точность совпадения синтезированной речи с движениями рта персонажа на экране.
Эмоциональная экспрессия: наполняет голос аутентичными человеческими эмоциями путем анализа мимики и контекстуальных инструкций.
Единообразие голоса: поддерживает стабильную, узнаваемую голосовую индивидуальность конкретных персонажей в сложных диалоговых сценах с участием нескольких говорящих.
Синхронизация по времени: позволяет вставлять диалоги с точностью до миллисекунд, даже если говорящий находится за кадром или частично скрыт.
Основная инновация: новаторская «временная модальность» и набор данных высокой точности
Технический прорыв Fun-CineForge обусловлен уникальной философией совместного проектирования «данные + модель»:
Набор данных высокого качества CineDub: Tongyi Lab также открыла исходный код автоматизированного конвейера построения набора данных CineDub. Используя механизм исправления ошибок по цепочке мыслей, он снижает уровень ошибок транскрипции для китайского и английского текстов примерно до 1%–2% и сокращает ошибки диаризации говорящих до 1,2%.
Архитектура слияния четырех модальностей: Модель впервые интегрирует «временную модальность», совместно моделируя визуальные входы (форма губ и мимика), текст (диалог и эмоциональный контекст) и аудио (голосовой эталон). Такое слияние позволяет обеспечить точную синхронизацию в сложных сценах, включая те, где лица не видны.
Доказанное превосходство: новаторский дубляж аутентичных диалогов с участием нескольких персонажей
Результаты тестирования показывают, что Fun-CineForge значительно превосходит базовые модели, такие как DeepDubber-V1, по ключевым показателям: коэффициенту ошибок слов (WER/CER), синхронизации губ (LSE-C/D) и сходству голосов. Знаковым достижением является уникальная способность точно обрабатывать дуэты и многосторонние диалоги, демонстрируя замечательную устойчивость в видеороликах длительностью до 30 секунд.
GitHub: https://github.com/FunAudioLLM/FunCineForge
HuggingFace: https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope: https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
Связанная статья
Генеральный директор DeepMind Хассабис: я сплю шесть часов в день, обычно чувствую прилив энергии около часа ночи.
В недавнем интервью журналу Fortune генеральный директор Google DeepMind Демис Хаассабис раскрыл свой нестандартный подход к отдыху и продуктивности. Хаассабис признался, что спит очень мало, распределяя свои бодрствующие часы на два отдельных рабочи
OpenAI и Anthropic борются за долю рынка, несмотря на снижение выручки
Несмотря на недавние сообщения о том, что OpenAI не достигла целевых показателей по выручке, что во вторник оказало давление на акции технологических компаний, частные инвесторы, вкладывающие средства
Соблюдение требований к автономным транспортным средствам в Калифорнии: новая эра штрафов, геозоны и 1 млн миль
Компания Guident эксплуатирует шаттл AuveTech в Южной Флориде, обслуживая маршрут протяженностью четыре мили в Вест-Палм-Бич и маршрут протяженностью одну милю в Бока-Ратоне с использованием своей тех
Рекомендации по связанным специальным темам
Музыкальная композиция
Инструменты разделения стемов с использованием ИИ для создания ремиксов, подготовки образцов звука и формирования финальных версий караоке.
2026 год: лучшие и наиболее высоко оценённые инструменты для разделения аудиосигналов с использованием ИИ, отобранные специально для работы над ремиксами, подготовки образцов звука и создания караоке-версий. Эти мощные революционные инструменты проходят реальные тесты, обеспечивая точную изоляцию аудиосигналов и значительно повышая производительность. XIX.AI предоставляет еженедельно обновляемый бесплатный справочник сравнения платных и бесплатных решений, который поможет вам найти оптимальный вариант, соответствующий вашим потребностям. Ознакомьтесь с ним прямо сейчас, чтобы раскрыть потенциал ИИ в вашей работе.
8 инструментов
xix.ai
Анализ данных
ИИ-копилоты для SQL, предназначенные для создания панелей управления доходами, анализа воронки продаж и отслеживания показателей продуктов.
2026 год: лучшие AI-ассистенты для SQL, занявшие верхние строчки рейтингов! XIX.AI собрал мощный набор инструментов, регулярно обновляемый на основе реальных тестов. Эти неотъемлемые инструменты помогают создавать точные дашборды с данными о доходах, анализировать каналы продаж и оперативно отслеживать показатели продуктов, значительно повышая производительность. Ознакомьтесь сейчас, чтобы найти идеальный инструмент для принятия решений на основе данных! 238 символов
9 инструментов
xix.ai
Музыкальная композиция
Лучшие инструменты для написания мелодий с помощью ИИ для черновиков песен
2026 год: лучшие, топовые и высокооценённые инструменты ИИ для написания мелодий для черновиков песен! XIX.AI подобрал высокоэффективную коллекцию, меняющую правила игры, которая прошла строгие реальные испытания, чтобы обеспечить лучший опыт написания. Вы можете найти подробные сравнения бесплатных и платных версий, точные рейтинги и обязательные к использованию варианты, разработанные, чтобы помочь вам создавать потрясающие черновики песен без усилий и значительно повысить вашу творческую продуктивность. Исследуйте сейчас, чтобы найти свой идеальный инструмент!
8 инструментов
xix.ai
чат-бот
Лучшие инструменты для тренировки разговоров с помощью ИИ для подготовки к собеседованиям
2026 г. — новейшие, лучшие и наиболее высоко оцененные инструменты для тренировки разговорных навыков с помощью ИИ для подготовки к собеседованиям уже доступны на XIX.AI! Эта тщательно отобранная подборка включает мощные, революционные инструменты, прошедшие строгие реальные испытания и обеспечивающие точную обратную связь. Вы найдете сравнение бесплатных и платных вариантов, а также подробные рейтинги, которые помогут вам выбрать наиболее подходящий инструмент, повышающий вашу уверенность и навыки. Исследуйте сейчас, чтобы найти идеальный инструмент для успешного прохождения собеседований!
12 инструментов
xix.ai
Дизайн и искусство
Лучшие инструменты для переноса стилей с помощью ИИ для творческих экспериментов
2026: лучшие и самые популярные инструменты для переноса стиля с помощью ИИ для творческих экспериментов! XIX.AI подготовила подборку мощных, революционных инструментов, которые обязательно стоит попробовать: они демонстрируют исключительные результаты, подтвержденные реальными тестами и тщательным рейтингом. Эти ведущие решения помогают творческим людям значительно повысить продуктивность, ускоряя создание контента и открывая безграничные творческие возможности. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент и начать творить уже сегодня!
9 инструментов
xix.ai
Создание комиксов
Лучшие инструменты для создания диалоговых пузырей с помощью ИИ для визуального повествования
2026 года: самые новые и лучшие инструменты с ИИ для создания диалоговых пузырей в визуальном сторителлинге представлены на XIX.AI! В этой тщательно подобранной подборке представлены мощные, революционные инструменты, которые помогут творческим людям повысить продуктивность и преодолеть творческие кризисы. Ознакомьтесь со сравнением бесплатных и платных версий, посмотрите тесты в реальных условиях и изучите последние рейтинги, чтобы найти решения, которые обязательно стоит попробовать и которые идеально подходят для создания увлекательных визуальных историй. Исследуйте коллекцию прямо сейчас, чтобы найти свой идеальный инструмент!
10 инструментов
xix.ai
Комментарии (0)
Традиционный дубляж с использованием искусственного интеллекта зачастую не справляется с задачами в таких ответственных проектах, как кино и анимация, где первостепенное значение имеет передача тонких эмоциональных пиков и идеальная синхронизация с движением губ. Чтобы решить эту ключевую проблему отрасли, Tongyi Lab официально представила и открыла исходный код революционной мультимодальной модели дубляжа киноуровня для различных сценариев —
Преодоление аудиовизуального разрыва: четырехкомпонентная структура для безупречной синхронизации
Вместо того чтобы полагаться на базовую технологию преобразования текста в речь, Fun-CineForge разработана для овладения четырьмя критически важными аспектами профессионального дубляжа:
Синхронизация губ: обеспечивает исключительную точность совпадения синтезированной речи с движениями рта персонажа на экране.
Эмоциональная экспрессия: наполняет голос аутентичными человеческими эмоциями путем анализа мимики и контекстуальных инструкций.
Единообразие голоса: поддерживает стабильную, узнаваемую голосовую индивидуальность конкретных персонажей в сложных диалоговых сценах с участием нескольких говорящих.
Синхронизация по времени: позволяет вставлять диалоги с точностью до миллисекунд, даже если говорящий находится за кадром или частично скрыт.
Основная инновация: новаторская «временная модальность» и набор данных высокой точности
Технический прорыв Fun-CineForge обусловлен уникальной философией совместного проектирования «данные + модель»:
Набор данных высокого качества CineDub: Tongyi Lab также открыла исходный код автоматизированного конвейера построения набора данных CineDub. Используя механизм исправления ошибок по цепочке мыслей, он снижает уровень ошибок транскрипции для китайского и английского текстов примерно до 1%–2% и сокращает ошибки диаризации говорящих до 1,2%.
Архитектура слияния четырех модальностей: Модель впервые интегрирует «временную модальность», совместно моделируя визуальные входы (форма губ и мимика), текст (диалог и эмоциональный контекст) и аудио (голосовой эталон). Такое слияние позволяет обеспечить точную синхронизацию в сложных сценах, включая те, где лица не видны.
Доказанное превосходство: новаторский дубляж аутентичных диалогов с участием нескольких персонажей
Результаты тестирования показывают, что Fun-CineForge значительно превосходит базовые модели, такие как DeepDubber-V1, по ключевым показателям: коэффициенту ошибок слов (WER/CER), синхронизации губ (LSE-C/D) и сходству голосов. Знаковым достижением является уникальная способность точно обрабатывать дуэты и многосторонние диалоги, демонстрируя замечательную устойчивость в видеороликах длительностью до 30 секунд.
GitHub: https://github.com/FunAudioLLM/FunCineForge
HuggingFace: https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope: https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
Генеральный директор DeepMind Хассабис: я сплю шесть часов в день, обычно чувствую прилив энергии около часа ночи.
В недавнем интервью журналу Fortune генеральный директор Google DeepMind Демис Хаассабис раскрыл свой нестандартный подход к отдыху и продуктивности. Хаассабис признался, что спит очень мало, распределяя свои бодрствующие часы на два отдельных рабочи
OpenAI и Anthropic борются за долю рынка, несмотря на снижение выручки
Несмотря на недавние сообщения о том, что OpenAI не достигла целевых показателей по выручке, что во вторник оказало давление на акции технологических компаний, частные инвесторы, вкладывающие средства
Соблюдение требований к автономным транспортным средствам в Калифорнии: новая эра штрафов, геозоны и 1 млн миль
Компания Guident эксплуатирует шаттл AuveTech в Южной Флориде, обслуживая маршрут протяженностью четыре мили в Вест-Палм-Бич и маршрут протяженностью одну милю в Бока-Ратоне с использованием своей тех
2026 год: лучшие и наиболее высоко оценённые инструменты для разделения аудиосигналов с использованием ИИ, отобранные специально для работы над ремиксами, подготовки образцов звука и создания караоке-версий. Эти мощные революционные инструменты проходят реальные тесты, обеспечивая точную изоляцию аудиосигналов и значительно повышая производительность. XIX.AI предоставляет еженедельно обновляемый бесплатный справочник сравнения платных и бесплатных решений, который поможет вам найти оптимальный вариант, соответствующий вашим потребностям. Ознакомьтесь с ним прямо сейчас, чтобы раскрыть потенциал ИИ в вашей работе.
8 инструментов
xix.ai
2026 год: лучшие AI-ассистенты для SQL, занявшие верхние строчки рейтингов! XIX.AI собрал мощный набор инструментов, регулярно обновляемый на основе реальных тестов. Эти неотъемлемые инструменты помогают создавать точные дашборды с данными о доходах, анализировать каналы продаж и оперативно отслеживать показатели продуктов, значительно повышая производительность. Ознакомьтесь сейчас, чтобы найти идеальный инструмент для принятия решений на основе данных! 238 символов
9 инструментов
xix.ai
2026 год: лучшие, топовые и высокооценённые инструменты ИИ для написания мелодий для черновиков песен! XIX.AI подобрал высокоэффективную коллекцию, меняющую правила игры, которая прошла строгие реальные испытания, чтобы обеспечить лучший опыт написания. Вы можете найти подробные сравнения бесплатных и платных версий, точные рейтинги и обязательные к использованию варианты, разработанные, чтобы помочь вам создавать потрясающие черновики песен без усилий и значительно повысить вашу творческую продуктивность. Исследуйте сейчас, чтобы найти свой идеальный инструмент!
8 инструментов
xix.ai
2026 г. — новейшие, лучшие и наиболее высоко оцененные инструменты для тренировки разговорных навыков с помощью ИИ для подготовки к собеседованиям уже доступны на XIX.AI! Эта тщательно отобранная подборка включает мощные, революционные инструменты, прошедшие строгие реальные испытания и обеспечивающие точную обратную связь. Вы найдете сравнение бесплатных и платных вариантов, а также подробные рейтинги, которые помогут вам выбрать наиболее подходящий инструмент, повышающий вашу уверенность и навыки. Исследуйте сейчас, чтобы найти идеальный инструмент для успешного прохождения собеседований!
12 инструментов
xix.ai
2026: лучшие и самые популярные инструменты для переноса стиля с помощью ИИ для творческих экспериментов! XIX.AI подготовила подборку мощных, революционных инструментов, которые обязательно стоит попробовать: они демонстрируют исключительные результаты, подтвержденные реальными тестами и тщательным рейтингом. Эти ведущие решения помогают творческим людям значительно повысить продуктивность, ускоряя создание контента и открывая безграничные творческие возможности. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент и начать творить уже сегодня!
9 инструментов
xix.ai
2026 года: самые новые и лучшие инструменты с ИИ для создания диалоговых пузырей в визуальном сторителлинге представлены на XIX.AI! В этой тщательно подобранной подборке представлены мощные, революционные инструменты, которые помогут творческим людям повысить продуктивность и преодолеть творческие кризисы. Ознакомьтесь со сравнением бесплатных и платных версий, посмотрите тесты в реальных условиях и изучите последние рейтинги, чтобы найти решения, которые обязательно стоит попробовать и которые идеально подходят для создания увлекательных визуальных историй. Исследуйте коллекцию прямо сейчас, чтобы найти свой идеальный инструмент!
10 инструментов
xix.ai
