Дом
Подразделение Tongyi компании Alibaba представило Fun-CineForge: модель искусственного интеллекта с открытым исходным кодом, обеспечивающая синтез речи кинематографического качества
16 марта лаборатория Alibaba Tongyi Lab официально представила и открыла исходный код мультимодальной модели Fun-CineForge для синтеза голоса киноуровня, предназначенной для различных сценариев. Эта модель решает основные проблемы в области дубляжа с помощью ИИ, включая несоответствие синхронизации губ, недостаток эмоциональной выразительности и несогласованность голосовых характеристик у разных персонажей. Кроме того, в ней представлен высококачественный метод построения наборов данных.
С технической точки зрения Fun-CineForge является пионером концепции «временной модальности». В отличие от традиционных моделей, которые сосредоточены исключительно на тексте или визуальных элементах, она обеспечивает синтез голоса в точных временных интервалах благодаря точному управлению временными метками. Даже в сложных сценах фильмов с закрытыми персонажами, частыми переключениями камеры или размытыми лицами модель сохраняет высокую степень аудиовизуальной синхронизации и соблюдения инструкций.
Еще одним ключевым нововведением является сопутствующий конвейер построения набора данных CineDub с открытым исходным кодом. Tongyi Lab использовала цепочку рассуждений на основе крупных языковых моделей для автоматического преобразования необработанных видеоматериалов в структурированные данные, что значительно сократило необходимость в ручной аннотации. Этот процесс обеспечивает уровень ошибок по словам примерно 1% и уровень ошибок диаризации говорящих всего 1,20%, создавая высококонкурентную основу для обучения крупных моделей.
Fun-CineForge теперь доступен на GitHub, HuggingFace и в сообществе ModelScope, поддерживая инференцию для видеороликов длиной до 30 секунд. Он превосходен не только в монологах одного говорящего, но и предлагает профессиональную поддержку для сценариев диалогов в дуэте и с участием нескольких говорящих. Этот прорыв сигнализирует об эволюции технологии голосового ИИ от базовых ролей в обслуживании клиентов и в качестве помощников к высококачественной анимации и постпродакшну фильмов.
GitHub: https://github.com/FunAudioLLM/FunCineForge
HuggingFace: https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope: https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
Связанная статья
Основные моменты документа SpaceX о публичном размещении акций: амбиции по расширению услуг спутникового Интернета и использованию искусственного интеллекта
В своем заявлении о регистрации типа S-1, представленном перед планируемым IPO, компания SpaceX представила ряд впечатляющих финансовых показателей, подчеркивающих ее прочные позиции в области аэрокосмической связи и искусственного интеллекта:Число
Alibaba Tuhao M890 дебютирует с тройной производительностью, открывая эпоху агентов полного спектра для моделей инференции на основе чипов, облачных технологий и моделирования.
20 мая 2026 года на саммите Alibaba Cloud компания объявила о завершении обновления полноценной технологической системы, разработанной для эры агентов. Это обновление кардинально изменило весь процесс работы системы — от базовых чипов и облачных плат
Возрождение Pentium 4: 20-летний процессор запускает большую модель Meta Llama 3
Недавно технический канал YouTube Fully Buffered провел впечатляющий и сложный эксперимент: им удалось успешно запустить последнюю большую модель Meta Llama 3.2 3B на процессоре Pentium 4 641, выпущенном в 2006 году.Этот тест заставил современные ис
Рекомендации по связанным специальным темам
Создание видео
Лучшие программы для создания видео с ИИ для подкастеров: превращайте аудиозаписи в увлекательные видео с говорящей головой
Откройте для себя лучшие инструменты для создания видео с ИИ для подкастеров 2026 года на сайте XIX.AI. В нашем тщательно отобранном списке лидеров представлены мощные инструменты, которые без труда превратят ваши аудиозаписи в увлекательные видеоролики с говорящей головой. Сравните бесплатные и платные варианты с помощью реальных тестов и еженедельно обновляемого рейтинга. Откройте для себя преимущества визуального повествования уже сейчас.
10 инструментов
xix.ai
чат-бот
Создайте свою собственную любовную историю с ИИ с помощью этих инструментов для ролевых игр
Откройте для себя 2026 лучших инструментов для ролевых игр на базе ИИ, которые помогут вам создавать захватывающие истории. В тщательно подобранном списке XIX.AI представлены мощные, революционные помощники, которые раскроют ваш творческий потенциал в повествовании и придадут ему эмоциональную глубину. Сравните бесплатные и платные варианты на основе реальных тестов. Начните свое уникальное путешествие уже сегодня.
10 инструментов
xix.ai
Преобразование текста в речь
Лучшие инструменты искусственного интеллекта для независимых разработчиков игр: как сэкономить время на озвучке для RPG и визуальных новелл
Откройте для себя лучшие инструменты искусственного интеллекта для озвучивания в 2026 году, предназначенные для разработчиков игр! В тщательно составленном списке XIX.AI представлены самые популярные и революционные решения, которые помогут вам сэкономить время и деньги на озвучивании ролевых игр и визуальных новелл. Ознакомьтесь с сравнением бесплатных и платных версий, результатами реальных тестов и еженедельно обновляемыми рейтингами. Найдите свой идеальный инструмент для озвучивания уже сегодня!
10 инструментов
xix.ai
Образование и обучение
Лучшие инструменты искусственного интеллекта для систематического повторения материала: оптимизация учебных планов студентов-медиков и юристов
Откройте для себя лучшие инструменты для повторения материала с использованием технологий искусственного интеллекта в 2026 году, подобранные компанией XIX.AI. Наши самые популярные и революционные инструменты помогут студентам-медикам и юристам оптимизировать расписание занятий для лучшего запоминания информации. Сравните бесплатные и платные варианты с использованием реальных примеров и еженедельно обновляемых рейтингов. Раскройте для себя все возможности эффективного обучения уже сегодня.
10 инструментов
xix.ai
Создание видео
Лучшие платформы для преобразования текста в видео с помощью ИИ для написания сценариев и визуального повествования
2026: лучшие платформы для преобразования текста в видео с помощью ИИ: самые популярные инструменты для написания сценариев и визуального повествования. Откройте для себя мощные, революционные решения, которые помогут превратить ваш текст в увлекательные видеоролики. Сравните бесплатные и платные варианты с помощью наших еженедельно обновляемых рейтингов и реальных тестов. Найдите идеальную платформу, которая поможет вам раскрыть свой творческий потенциал и повысить продуктивность. Ознакомьтесь с тщательно подобранной подборкой на сайте XIX.AI.
10 инструментов
xix.ai
чат-бот
АИ-оркестраторы множественных агентов: создание сложных автоматизированных рабочих процессов с использованием естественного языка
2026 Год: Откройте для себя лучшие инструменты на основе искусственного интеллекта, предназначенные для создания сложных автоматизированных рабочих процессов с использованием естественного языка. Наш отобранный список включает наиболее популярные и мощные платформы, обеспечивающие бесшовную автоматизацию задач и интеллектуальное управление процессами. Сравните бесплатные и платные варианты с примерами реального использования. Получите преимущества, предоставляемые технологиями искусственного интеллекта, благодаря еженедельно обновляемым рейтингам от XIX.AI.
10 инструментов
xix.ai
Комментарии (1)
![NicholasThomas]()
Just tried the demo and honestly blown away by how natural the lip-sync feels now! 😮 Always thought AI dubbing sounded a bit robotic, but this seems like a huge leap. Wonder if this will start being used in indie films or even gaming soon? The open-source move is pretty bold too—curious to see how other companies respond.
16 марта лаборатория Alibaba Tongyi Lab официально представила и открыла исходный код мультимодальной модели Fun-CineForge для синтеза голоса киноуровня, предназначенной для различных сценариев. Эта модель решает основные проблемы в области дубляжа с помощью ИИ, включая несоответствие синхронизации губ, недостаток эмоциональной выразительности и несогласованность голосовых характеристик у разных персонажей. Кроме того, в ней представлен высококачественный метод построения наборов данных.
С технической точки зрения Fun-CineForge является пионером концепции «временной модальности». В отличие от традиционных моделей, которые сосредоточены исключительно на тексте или визуальных элементах, она обеспечивает синтез голоса в точных временных интервалах благодаря точному управлению временными метками. Даже в сложных сценах фильмов с закрытыми персонажами, частыми переключениями камеры или размытыми лицами модель сохраняет высокую степень аудиовизуальной синхронизации и соблюдения инструкций.
Еще одним ключевым нововведением является сопутствующий конвейер построения набора данных CineDub с открытым исходным кодом. Tongyi Lab использовала цепочку рассуждений на основе крупных языковых моделей для автоматического преобразования необработанных видеоматериалов в структурированные данные, что значительно сократило необходимость в ручной аннотации. Этот процесс обеспечивает уровень ошибок по словам примерно 1% и уровень ошибок диаризации говорящих всего 1,20%, создавая высококонкурентную основу для обучения крупных моделей.
Fun-CineForge теперь доступен на GitHub, HuggingFace и в сообществе ModelScope, поддерживая инференцию для видеороликов длиной до 30 секунд. Он превосходен не только в монологах одного говорящего, но и предлагает профессиональную поддержку для сценариев диалогов в дуэте и с участием нескольких говорящих. Этот прорыв сигнализирует об эволюции технологии голосового ИИ от базовых ролей в обслуживании клиентов и в качестве помощников к высококачественной анимации и постпродакшну фильмов.
GitHub: https://github.com/FunAudioLLM/FunCineForge
HuggingFace: https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope: https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
Основные моменты документа SpaceX о публичном размещении акций: амбиции по расширению услуг спутникового Интернета и использованию искусственного интеллекта
В своем заявлении о регистрации типа S-1, представленном перед планируемым IPO, компания SpaceX представила ряд впечатляющих финансовых показателей, подчеркивающих ее прочные позиции в области аэрокосмической связи и искусственного интеллекта:Число
Alibaba Tuhao M890 дебютирует с тройной производительностью, открывая эпоху агентов полного спектра для моделей инференции на основе чипов, облачных технологий и моделирования.
20 мая 2026 года на саммите Alibaba Cloud компания объявила о завершении обновления полноценной технологической системы, разработанной для эры агентов. Это обновление кардинально изменило весь процесс работы системы — от базовых чипов и облачных плат
Возрождение Pentium 4: 20-летний процессор запускает большую модель Meta Llama 3
Недавно технический канал YouTube Fully Buffered провел впечатляющий и сложный эксперимент: им удалось успешно запустить последнюю большую модель Meta Llama 3.2 3B на процессоре Pentium 4 641, выпущенном в 2006 году.Этот тест заставил современные ис
Откройте для себя лучшие инструменты для создания видео с ИИ для подкастеров 2026 года на сайте XIX.AI. В нашем тщательно отобранном списке лидеров представлены мощные инструменты, которые без труда превратят ваши аудиозаписи в увлекательные видеоролики с говорящей головой. Сравните бесплатные и платные варианты с помощью реальных тестов и еженедельно обновляемого рейтинга. Откройте для себя преимущества визуального повествования уже сейчас.
10 инструментов
xix.ai
Откройте для себя 2026 лучших инструментов для ролевых игр на базе ИИ, которые помогут вам создавать захватывающие истории. В тщательно подобранном списке XIX.AI представлены мощные, революционные помощники, которые раскроют ваш творческий потенциал в повествовании и придадут ему эмоциональную глубину. Сравните бесплатные и платные варианты на основе реальных тестов. Начните свое уникальное путешествие уже сегодня.
10 инструментов
xix.ai
Откройте для себя лучшие инструменты искусственного интеллекта для озвучивания в 2026 году, предназначенные для разработчиков игр! В тщательно составленном списке XIX.AI представлены самые популярные и революционные решения, которые помогут вам сэкономить время и деньги на озвучивании ролевых игр и визуальных новелл. Ознакомьтесь с сравнением бесплатных и платных версий, результатами реальных тестов и еженедельно обновляемыми рейтингами. Найдите свой идеальный инструмент для озвучивания уже сегодня!
10 инструментов
xix.ai
Откройте для себя лучшие инструменты для повторения материала с использованием технологий искусственного интеллекта в 2026 году, подобранные компанией XIX.AI. Наши самые популярные и революционные инструменты помогут студентам-медикам и юристам оптимизировать расписание занятий для лучшего запоминания информации. Сравните бесплатные и платные варианты с использованием реальных примеров и еженедельно обновляемых рейтингов. Раскройте для себя все возможности эффективного обучения уже сегодня.
10 инструментов
xix.ai
2026: лучшие платформы для преобразования текста в видео с помощью ИИ: самые популярные инструменты для написания сценариев и визуального повествования. Откройте для себя мощные, революционные решения, которые помогут превратить ваш текст в увлекательные видеоролики. Сравните бесплатные и платные варианты с помощью наших еженедельно обновляемых рейтингов и реальных тестов. Найдите идеальную платформу, которая поможет вам раскрыть свой творческий потенциал и повысить продуктивность. Ознакомьтесь с тщательно подобранной подборкой на сайте XIX.AI.
10 инструментов
xix.ai
2026 Год: Откройте для себя лучшие инструменты на основе искусственного интеллекта, предназначенные для создания сложных автоматизированных рабочих процессов с использованием естественного языка. Наш отобранный список включает наиболее популярные и мощные платформы, обеспечивающие бесшовную автоматизацию задач и интеллектуальное управление процессами. Сравните бесплатные и платные варианты с примерами реального использования. Получите преимущества, предоставляемые технологиями искусственного интеллекта, благодаря еженедельно обновляемым рейтингам от XIX.AI.
10 инструментов
xix.ai
Just tried the demo and honestly blown away by how natural the lip-sync feels now! 😮 Always thought AI dubbing sounded a bit robotic, but this seems like a huge leap. Wonder if this will start being used in indie films or even gaming soon? The open-source move is pretty bold too—curious to see how other companies respond.
