Дом
Fish Audio представляет S2: модель с открытым исходным кодом, позволяющая управлять эмоциями на уровне отдельных слов

Компания Fish Audio официально представила свою новую модель преобразования текста в речь S2, которая стала значительным шагом вперед в плане выразительности и управляемости для технологий TTS с открытым исходным кодом.
Модель под названием Fish Audio S2 уделяет приоритетное внимание мощному контролю эмоций. Пользователи могут выполнять точную настройку просодии и эмоций с помощью команд на естественном языке. Вставляя теги, такие как [laugh], [whisper] или [super happy], или даже используя описания в свободной форме, например [professional broadcast tone] или [pitch up], можно осуществлять точное управление на уровне отдельных слов для генерации высоковыразительной и естественно-живой речи.
Ключевые особенности:
Полностью открытый исходный код: веса модели, код тонкой настройки и потоковый механизм вывода на основе SGLang доступны для общего пользования на GitHub и Hugging Face. S2-Pro — это флагманская версия с примерно 4,4 миллиардами параметров. Сверхнизкая задержка: задержка инференции составляет менее 150 миллисекунд, что делает ее идеальной для приложений реального времени, таких как чат-боты и виртуальные стримеры. Встроенная поддержка нескольких говорящих: она может обрабатывать нескольких говорящих в рамках одной инференции, управляя ходами разговора, перебиваниями и естественной передачей эмоций, сохраняя при этом стабильное качество голоса без дополнительной обработки.Fish Audio сообщает, что S2 был обучен на примерно 10 миллионах часов аудиоданных, охватывающих почти 50 языков. Используя выравнивание с помощью обучения с подкреплением и двойную авторегрессионную архитектуру, он демонстрирует ведущую естественность и выразительность в нескольких тестах. Он считается одной из самых эмоционально интеллектуальных систем TTS, доступных как с открытым исходным кодом, так и проприетарных. «Настоящая лингвистическая свобода начинается сейчас», — объявила Fish Audio, отметив появление речи ИИ с подлинными эмоциями и индивидуальностью.
GitHub:https://github.com/fishaudio/fish-speech/
HuggingFace:https://huggingface.co/fishaudio/s2-pro/
Связанная статья
Xiaomi представляет новую стратегию в области искусственного интеллекта для создания интеллектуальной инфраструктуры будущего и трансформации отрасли
По мере того как технологии искусственного интеллекта развиваются с беспрецедентной скоростью, Xiaomi пересматривает свою стратегическую дорожную карту, чтобы использовать потенциал больших языковых моделей. Недавно компания провела реструктуризацию
Besxar строит завод по производству полупроводников на орбите с помощью ракет SpaceX
Производство в космосе и доставка готовой продукции на Землю в настоящее время опираются на ограниченный набор подходов: ожидание возможности доступа к Международной космической станции или сотрудниче
Лян Вэньфэн о открытом исходном коде: 6-кратная прибыль без сверхурочных, 100-кратный рост благодаря открытому исходному коду
После недавней утечки внутренних обсуждений с инвесторами от DeepSeek основатель Лян Вэнфэн разъяснил стратегические причины их подхода с открытым исходным кодом. Он твердо заявил: «Мы обязательно откроем исходный код, включая наши самые мощные модел
Рекомендации по связанным специальным темам
Комментарии (0)

Компания Fish Audio официально представила свою новую модель преобразования текста в речь S2, которая стала значительным шагом вперед в плане выразительности и управляемости для технологий TTS с открытым исходным кодом.
Модель под названием Fish Audio S2 уделяет приоритетное внимание мощному контролю эмоций. Пользователи могут выполнять точную настройку просодии и эмоций с помощью команд на естественном языке. Вставляя теги, такие как [laugh], [whisper] или [super happy], или даже используя описания в свободной форме, например [professional broadcast tone] или [pitch up], можно осуществлять точное управление на уровне отдельных слов для генерации высоковыразительной и естественно-живой речи.
Ключевые особенности:
Полностью открытый исходный код: веса модели, код тонкой настройки и потоковый механизм вывода на основе SGLang доступны для общего пользования на GitHub и Hugging Face. S2-Pro — это флагманская версия с примерно 4,4 миллиардами параметров. Сверхнизкая задержка: задержка инференции составляет менее 150 миллисекунд, что делает ее идеальной для приложений реального времени, таких как чат-боты и виртуальные стримеры. Встроенная поддержка нескольких говорящих: она может обрабатывать нескольких говорящих в рамках одной инференции, управляя ходами разговора, перебиваниями и естественной передачей эмоций, сохраняя при этом стабильное качество голоса без дополнительной обработки.Fish Audio сообщает, что S2 был обучен на примерно 10 миллионах часов аудиоданных, охватывающих почти 50 языков. Используя выравнивание с помощью обучения с подкреплением и двойную авторегрессионную архитектуру, он демонстрирует ведущую естественность и выразительность в нескольких тестах. Он считается одной из самых эмоционально интеллектуальных систем TTS, доступных как с открытым исходным кодом, так и проприетарных. «Настоящая лингвистическая свобода начинается сейчас», — объявила Fish Audio, отметив появление речи ИИ с подлинными эмоциями и индивидуальностью.
GitHub:https://github.com/fishaudio/fish-speech/
HuggingFace:https://huggingface.co/fishaudio/s2-pro/
Xiaomi представляет новую стратегию в области искусственного интеллекта для создания интеллектуальной инфраструктуры будущего и трансформации отрасли
По мере того как технологии искусственного интеллекта развиваются с беспрецедентной скоростью, Xiaomi пересматривает свою стратегическую дорожную карту, чтобы использовать потенциал больших языковых моделей. Недавно компания провела реструктуризацию
Besxar строит завод по производству полупроводников на орбите с помощью ракет SpaceX
Производство в космосе и доставка готовой продукции на Землю в настоящее время опираются на ограниченный набор подходов: ожидание возможности доступа к Международной космической станции или сотрудниче
Лян Вэньфэн о открытом исходном коде: 6-кратная прибыль без сверхурочных, 100-кратный рост благодаря открытому исходному коду
После недавней утечки внутренних обсуждений с инвесторами от DeepSeek основатель Лян Вэнфэн разъяснил стратегические причины их подхода с открытым исходным кодом. Он твердо заявил: «Мы обязательно откроем исходный код, включая наши самые мощные модел











