ДомОткрытая аудиомодель Meituan устанавливает новый стандарт в области клонирования голоса
В области генерации аудио происходит кардинальный переход от многоступенчатых каскадных архитектур к сквозным моделям. Чтобы преодолеть потерю информации и накопление ошибок, присущие традиционному промежуточному представлению «Мел-спектрограмма», используемому в системах TTS, команда Meituan LongCat официально выпустила и открыла исходный код LongCat-AudioDiT (доступно в версиях с 1 млрд и 3,5 млрд параметров). Эта модель успешно превосходит предыдущие ограничения производительности в области клонирования голоса без обучения (zero-shot) за счет прямого моделирования латентного пространства сигналов.
Основная архитектура: выход за пределы мелодических спектрограмм
LongCat-AudioDiT отказывается от традиционного многоступенчатого конвейера «предсказание акустических признаков + нейронный вокодер», создавая вместо этого оптимизированную минимальную архитектуру, построенную на основе Wav-VAE (вариационного автокодера сигнальных форм) и DiT (диффузионного трансформатора).
Эффективный Wav-VAE: Используя полностью сверточную конструкцию, он сжимает сигналы частотой 24 кГц в 2000 раз до частоты кадров 11,7 Гц. Благодаря непараметрическим ветвям-ярлыкам и многоцелевому состязательному обучению он гарантирует, что восстановленный сигнал сохраняет точную временно-частотную структуру, обеспечивая при этом превосходное естественное качество прослушивания.
DiT с улучшенной семантикой: модель инновационно объединяет исходные вложения слов из текстового кодировщика UMT5 со своими скрытыми состояниями верхнего уровня. Это компенсирует фонетические детали, утраченные в семантических представлениях высокого уровня, значительно повышая разборчивость сгенерированной речи.
Оптимизация инференса: точная коррекция дрейфа голоса
Для дальнейшего повышения качества генерации команда внедрила два важных технических усовершенствования:
Механизм двойного ограничения: эта техника выявляет и исправляет постоянную проблему «несоответствия обучения и вывода» в TTS с согласованием потока. Путем принудительной перезагрузки скрытых переменных в области подсказки во время вывода она полностью решает проблемы дрейфа и нестабильности голоса говорящего.
Адаптивное управление проекцией (APG): APG заменяет традиционное управление без классификатора (CFG). Оно может точно фильтровать полезные компоненты в сигнале управления, подавляя при этом компоненты, вызывающие ухудшение качества звука, что значительно улучшает естественность речи, не вызывая спектральной «перенасыщенности».
Производительность: точность клонирования на уровне SOTA
В тестах на наборе данных Seed LongCat-AudioDiT демонстрирует доминирующую производительность:
Схожесть (SIM): модель 3.5B достигла результата 0,818 на тестовом наборе Seed-ZH и 0,797 на сложном наборе предложений Seed-Hard, превзойдя такие известные модели, как Seed-TTS, CosyVoice3.5 и MiniMax-Speech.
Точность: она входит в число лучших в отрасли по ключевым показателям, включая WER на английском языке 1,50% и CER для сложных предложений на китайском языке 6,04%.
Примечательно, что LongCat-AudioDiT достигает превосходных результатов по сравнению с многоэтапными моделями, используя только одноэтапное обучение на предварительно обработанных данных транскрипции ASR. Соответствующая научная статья, исходный код и веса модели теперь полностью открыты и доступны на GitHub и HuggingFace.
Ссылки по проекту:
GitHub: https://github.com/meituan-longcat/LongCat-AudioDiT
HuggingFace: https://huggingface.co/meituan-longcat/LongCat-AudioDiT
Связанная статья
Внутри раскрыты подробности о Gemini следующего поколения: ограниченные вычислительные мощности, внутренние команды не сошлись в вопросах приоритетов разработки и распределения ресурсов
В отчётах указывается, что запуск долгожданной модели Gemini следующего поколения от Google был перенесён. Внутренние разногласия по вопросам приоритетов разработки и распределения ресурсов, в сочетании с ограниченной вычислительной мощностью и сложн
OpenAI отклоняет опасения по поводу замедления роста, заявляя о ускорении работы нескольких бизнес-подразделений
В ответ на внешнюю критику, связанную с замедлением роста продаж и невыполнением внутренних плановых показателей, лидер в области искусственного интеллекта компания OpenAI опубликовала во вторник, 28 апреля, уверенное заявление. Компания уточнила, чт
Кубок Суперкубок Alibaba: Qwen3.8-Max дебютирует с улучшенными инструментами для программирования и офисными приложениями
Alibaba официально представила Qwen3.8-Max — новую базовую большую модель с 2,4 триллиона параметров. Это значимое достижение в области искусственного интеллекта обеспечивает существенное улучшение производительности в ключевых областях, таких как пр
Рекомендации по связанным специальным темам
Музыкальная композиция
Лучшие инструменты для написания мелодий с помощью ИИ для черновиков песен
2026 год: лучшие, топовые и высокооценённые инструменты ИИ для написания мелодий для черновиков песен! XIX.AI подобрал высокоэффективную коллекцию, меняющую правила игры, которая прошла строгие реальные испытания, чтобы обеспечить лучший опыт написания. Вы можете найти подробные сравнения бесплатных и платных версий, точные рейтинги и обязательные к использованию варианты, разработанные, чтобы помочь вам создавать потрясающие черновики песен без усилий и значительно повысить вашу творческую продуктивность. Исследуйте сейчас, чтобы найти свой идеальный инструмент!
8 инструментов
xix.ai
чат-бот
Лучшие инструменты для тренировки разговоров с помощью ИИ для подготовки к собеседованиям
2026 г. — новейшие, лучшие и наиболее высоко оцененные инструменты для тренировки разговорных навыков с помощью ИИ для подготовки к собеседованиям уже доступны на XIX.AI! Эта тщательно отобранная подборка включает мощные, революционные инструменты, прошедшие строгие реальные испытания и обеспечивающие точную обратную связь. Вы найдете сравнение бесплатных и платных вариантов, а также подробные рейтинги, которые помогут вам выбрать наиболее подходящий инструмент, повышающий вашу уверенность и навыки. Исследуйте сейчас, чтобы найти идеальный инструмент для успешного прохождения собеседований!
12 инструментов
xix.ai
Дизайн и искусство
Лучшие инструменты для переноса стилей с помощью ИИ для творческих экспериментов
2026: лучшие и самые популярные инструменты для переноса стиля с помощью ИИ для творческих экспериментов! XIX.AI подготовила подборку мощных, революционных инструментов, которые обязательно стоит попробовать: они демонстрируют исключительные результаты, подтвержденные реальными тестами и тщательным рейтингом. Эти ведущие решения помогают творческим людям значительно повысить продуктивность, ускоряя создание контента и открывая безграничные творческие возможности. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент и начать творить уже сегодня!
9 инструментов
xix.ai
Создание комиксов
Лучшие инструменты для создания диалоговых пузырей с помощью ИИ для визуального повествования
2026 года: самые новые и лучшие инструменты с ИИ для создания диалоговых пузырей в визуальном сторителлинге представлены на XIX.AI! В этой тщательно подобранной подборке представлены мощные, революционные инструменты, которые помогут творческим людям повысить продуктивность и преодолеть творческие кризисы. Ознакомьтесь со сравнением бесплатных и платных версий, посмотрите тесты в реальных условиях и изучите последние рейтинги, чтобы найти решения, которые обязательно стоит попробовать и которые идеально подходят для создания увлекательных визуальных историй. Исследуйте коллекцию прямо сейчас, чтобы найти свой идеальный инструмент!
10 инструментов
xix.ai
Помощник по встречам
Лучшие инструменты для составления отчетов о встречах с использованием ИИ: четкое отслеживание решений и последующих действий
2026: Последние версии лучших инструментов для составления отчетов о встречах с помощью ИИ, обеспечивающих четкое отслеживание решений и удобное выполнение последующих действий. В этом тщательно подобранном списке представлены мощные, революционные решения, которые значительно повышают продуктивность за счет автоматизации ведения протоколов встреч, выявления ключевых задач и оптимизации координации работы команды по всем проектам. Получите сравнение бесплатных и платных версий, а также результаты реальных тестов и еженедельно обновляемые рейтинги, которые помогут вам найти идеальный инструмент. Ознакомьтесь с ними прямо сейчас, чтобы раскрыть потенциал искусственного интеллекта!
9 инструментов
xix.ai
Анализ данных
Лучшие инструменты для очистки данных с использованием ИИ: быстрое устранение пропущенных значений и дубликатов
2026 год: лучшие и наиболее высоко оценённые инструменты для очистки данных с ИИ, предназначенные для быстрого устранения пропущенных значений и дубликатов. В этом тщательно отобранном списке представлены мощные решения, способные кардинально повысить производительность. Каждый инструмент прошёл строгие тестирования в реальных условиях для обеспечения надёжности. Получите бесплатное сравнение версий с платной и найдите инструмент, который наилучшим образом соответствует вашим потребностям. Ознакомьтесь с ним прямо сейчас на сайте XIX.AI, чтобы раскрыть полный потенциал работы с ИИ.
11 инструментов
xix.ai
Комментарии (1)
![FredGreen]()
Honestly, the switch from multi-stage cascades to end-to-end models in audio generation sounds like a huge leap forward. But I'm wondering—how do they ensure the cloned voice doesn't pick up weird artifacts or biases from the training data? Also, open-sourcing it is cool, but I hope they've thought about potential misuse, like deepfake audio scams. 😅
В области генерации аудио происходит кардинальный переход от многоступенчатых каскадных архитектур к сквозным моделям. Чтобы преодолеть потерю информации и накопление ошибок, присущие традиционному промежуточному представлению «Мел-спектрограмма», используемому в системах TTS, команда Meituan LongCat официально выпустила и открыла исходный код LongCat-AudioDiT (доступно в версиях с 1 млрд и 3,5 млрд параметров). Эта модель успешно превосходит предыдущие ограничения производительности в области клонирования голоса без обучения (zero-shot) за счет прямого моделирования латентного пространства сигналов.
Основная архитектура: выход за пределы мелодических спектрограмм
LongCat-AudioDiT отказывается от традиционного многоступенчатого конвейера «предсказание акустических признаков + нейронный вокодер», создавая вместо этого оптимизированную минимальную архитектуру, построенную на основе Wav-VAE (вариационного автокодера сигнальных форм) и DiT (диффузионного трансформатора).
Эффективный Wav-VAE: Используя полностью сверточную конструкцию, он сжимает сигналы частотой 24 кГц в 2000 раз до частоты кадров 11,7 Гц. Благодаря непараметрическим ветвям-ярлыкам и многоцелевому состязательному обучению он гарантирует, что восстановленный сигнал сохраняет точную временно-частотную структуру, обеспечивая при этом превосходное естественное качество прослушивания.
DiT с улучшенной семантикой: модель инновационно объединяет исходные вложения слов из текстового кодировщика UMT5 со своими скрытыми состояниями верхнего уровня. Это компенсирует фонетические детали, утраченные в семантических представлениях высокого уровня, значительно повышая разборчивость сгенерированной речи.
Оптимизация инференса: точная коррекция дрейфа голоса
Для дальнейшего повышения качества генерации команда внедрила два важных технических усовершенствования:
Механизм двойного ограничения: эта техника выявляет и исправляет постоянную проблему «несоответствия обучения и вывода» в TTS с согласованием потока. Путем принудительной перезагрузки скрытых переменных в области подсказки во время вывода она полностью решает проблемы дрейфа и нестабильности голоса говорящего.
Адаптивное управление проекцией (APG): APG заменяет традиционное управление без классификатора (CFG). Оно может точно фильтровать полезные компоненты в сигнале управления, подавляя при этом компоненты, вызывающие ухудшение качества звука, что значительно улучшает естественность речи, не вызывая спектральной «перенасыщенности».
Производительность: точность клонирования на уровне SOTA
В тестах на наборе данных Seed LongCat-AudioDiT демонстрирует доминирующую производительность:
Схожесть (SIM): модель 3.5B достигла результата 0,818 на тестовом наборе Seed-ZH и 0,797 на сложном наборе предложений Seed-Hard, превзойдя такие известные модели, как Seed-TTS, CosyVoice3.5 и MiniMax-Speech.
Точность: она входит в число лучших в отрасли по ключевым показателям, включая WER на английском языке 1,50% и CER для сложных предложений на китайском языке 6,04%.
Примечательно, что LongCat-AudioDiT достигает превосходных результатов по сравнению с многоэтапными моделями, используя только одноэтапное обучение на предварительно обработанных данных транскрипции ASR. Соответствующая научная статья, исходный код и веса модели теперь полностью открыты и доступны на GitHub и HuggingFace.
Ссылки по проекту:
GitHub: https://github.com/meituan-longcat/LongCat-AudioDiT
HuggingFace: https://huggingface.co/meituan-longcat/LongCat-AudioDiT
Внутри раскрыты подробности о Gemini следующего поколения: ограниченные вычислительные мощности, внутренние команды не сошлись в вопросах приоритетов разработки и распределения ресурсов
В отчётах указывается, что запуск долгожданной модели Gemini следующего поколения от Google был перенесён. Внутренние разногласия по вопросам приоритетов разработки и распределения ресурсов, в сочетании с ограниченной вычислительной мощностью и сложн
OpenAI отклоняет опасения по поводу замедления роста, заявляя о ускорении работы нескольких бизнес-подразделений
В ответ на внешнюю критику, связанную с замедлением роста продаж и невыполнением внутренних плановых показателей, лидер в области искусственного интеллекта компания OpenAI опубликовала во вторник, 28 апреля, уверенное заявление. Компания уточнила, чт
Кубок Суперкубок Alibaba: Qwen3.8-Max дебютирует с улучшенными инструментами для программирования и офисными приложениями
Alibaba официально представила Qwen3.8-Max — новую базовую большую модель с 2,4 триллиона параметров. Это значимое достижение в области искусственного интеллекта обеспечивает существенное улучшение производительности в ключевых областях, таких как пр
2026 год: лучшие, топовые и высокооценённые инструменты ИИ для написания мелодий для черновиков песен! XIX.AI подобрал высокоэффективную коллекцию, меняющую правила игры, которая прошла строгие реальные испытания, чтобы обеспечить лучший опыт написания. Вы можете найти подробные сравнения бесплатных и платных версий, точные рейтинги и обязательные к использованию варианты, разработанные, чтобы помочь вам создавать потрясающие черновики песен без усилий и значительно повысить вашу творческую продуктивность. Исследуйте сейчас, чтобы найти свой идеальный инструмент!
8 инструментов
xix.ai
2026 г. — новейшие, лучшие и наиболее высоко оцененные инструменты для тренировки разговорных навыков с помощью ИИ для подготовки к собеседованиям уже доступны на XIX.AI! Эта тщательно отобранная подборка включает мощные, революционные инструменты, прошедшие строгие реальные испытания и обеспечивающие точную обратную связь. Вы найдете сравнение бесплатных и платных вариантов, а также подробные рейтинги, которые помогут вам выбрать наиболее подходящий инструмент, повышающий вашу уверенность и навыки. Исследуйте сейчас, чтобы найти идеальный инструмент для успешного прохождения собеседований!
12 инструментов
xix.ai
2026: лучшие и самые популярные инструменты для переноса стиля с помощью ИИ для творческих экспериментов! XIX.AI подготовила подборку мощных, революционных инструментов, которые обязательно стоит попробовать: они демонстрируют исключительные результаты, подтвержденные реальными тестами и тщательным рейтингом. Эти ведущие решения помогают творческим людям значительно повысить продуктивность, ускоряя создание контента и открывая безграничные творческие возможности. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент и начать творить уже сегодня!
9 инструментов
xix.ai
2026 года: самые новые и лучшие инструменты с ИИ для создания диалоговых пузырей в визуальном сторителлинге представлены на XIX.AI! В этой тщательно подобранной подборке представлены мощные, революционные инструменты, которые помогут творческим людям повысить продуктивность и преодолеть творческие кризисы. Ознакомьтесь со сравнением бесплатных и платных версий, посмотрите тесты в реальных условиях и изучите последние рейтинги, чтобы найти решения, которые обязательно стоит попробовать и которые идеально подходят для создания увлекательных визуальных историй. Исследуйте коллекцию прямо сейчас, чтобы найти свой идеальный инструмент!
10 инструментов
xix.ai
2026: Последние версии лучших инструментов для составления отчетов о встречах с помощью ИИ, обеспечивающих четкое отслеживание решений и удобное выполнение последующих действий. В этом тщательно подобранном списке представлены мощные, революционные решения, которые значительно повышают продуктивность за счет автоматизации ведения протоколов встреч, выявления ключевых задач и оптимизации координации работы команды по всем проектам. Получите сравнение бесплатных и платных версий, а также результаты реальных тестов и еженедельно обновляемые рейтинги, которые помогут вам найти идеальный инструмент. Ознакомьтесь с ними прямо сейчас, чтобы раскрыть потенциал искусственного интеллекта!
9 инструментов
xix.ai
2026 год: лучшие и наиболее высоко оценённые инструменты для очистки данных с ИИ, предназначенные для быстрого устранения пропущенных значений и дубликатов. В этом тщательно отобранном списке представлены мощные решения, способные кардинально повысить производительность. Каждый инструмент прошёл строгие тестирования в реальных условиях для обеспечения надёжности. Получите бесплатное сравнение версий с платной и найдите инструмент, который наилучшим образом соответствует вашим потребностям. Ознакомьтесь с ним прямо сейчас на сайте XIX.AI, чтобы раскрыть полный потенциал работы с ИИ.
11 инструментов
xix.ai
Honestly, the switch from multi-stage cascades to end-to-end models in audio generation sounds like a huge leap forward. But I'm wondering—how do they ensure the cloned voice doesn't pick up weird artifacts or biases from the training data? Also, open-sourcing it is cool, but I hope they've thought about potential misuse, like deepfake audio scams. 😅
