Lar
A Fish Audio lança o S2: modelo de código aberto permite o controle de emoções ao nível da palavra

A Fish Audio lançou oficialmente seu novo modelo de conversão de texto em fala, o S2, representando um avanço significativo em termos de expressividade e controlabilidade para a tecnologia TTS de código aberto.
Batizado de Fish Audio S2, este modelo prioriza um controle emocional poderoso. Os usuários podem fazer ajustes precisos na prosódia e na emoção usando instruções em linguagem natural. Ao inserir tags como [risada], [sussurro] ou [superfeliz], ou mesmo usando descrições livres como [tom de transmissão profissional] ou [aumentar o tom], ele permite um controle preciso, ao nível da palavra, para gerar uma fala altamente expressiva e naturalmente vívida.
Os principais recursos incluem:
Totalmente de código aberto: os pesos do modelo, o código de ajuste fino e o mecanismo de inferência de streaming baseado em SGLang estão todos disponíveis publicamente no GitHub e no Hugging Face. O S2-Pro é a versão principal, com aproximadamente 4,4 bilhões de parâmetros. Latência ultrabaixa: a latência de inferência é inferior a 150 milissegundos, tornando-o ideal para aplicações em tempo real, como chatbots e streamers virtuais. Suporte nativo a múltiplos falantes: ele pode processar vários falantes em uma única inferência, lidando com turnos de conversação, interrupções e transmissão emocional natural, mantendo a qualidade de voz consistente sem processamento extra.A Fish Audio informa que o S2 foi treinado com cerca de 10 milhões de horas de dados de áudio abrangendo quase 50 idiomas. Utilizando alinhamento de aprendizado por reforço e uma arquitetura autorregressiva dupla, ele demonstra naturalidade e expressividade de ponta em vários benchmarks. É considerado um dos sistemas de TTS mais emocionalmente inteligentes disponíveis, sejam eles de código aberto ou proprietários. “A verdadeira liberdade linguística começa agora”, anunciou a Fish Audio, marcando a chegada da fala com IA com emoção e personalidade genuínas.
GitHub: https://github.com/fishaudio/fish-speech/
HuggingFace:https://huggingface.co/fishaudio/s2-pro/
Artigo relacionado
Stripe vai adquirir a OpenRouter à medida que o roteamento baseado em modelos de IA ganha força
A Stripe concordou em adquirir a OpenRouter, uma plataforma de roteamento de modelos de IA que oferece aos desenvolvedores acesso a centenas de modelos por meio de uma única interface. O acordo amplia
O ex-pesquisador da OpenAI, Barrett Zoph, retorna ao Google para apoiar o desenvolvimento do Gemini
Barret Zoph, que anteriormente havia deixado a empresa de forma repentina e se juntado à OpenAI devido a um desentendimento com a CEO da Thinking Machines Lab, Miriam Mularati, mudou de emprego mais u
Como a Recursive Intelligence levantou US$ 335 milhões com uma avaliação de US$ 4 bilhões em 4 meses
As cofundadoras da startup Ricursive Intelligence pareciam destinadas a serem cofundadoras.Anna Goldie, CEO, e Azalia Mirhoseini, CTO, são tão conhecidas na comunidade de IA que estavam entre os engen
Recomendações de tópicos especiais relacionados
Comentários (0)

A Fish Audio lançou oficialmente seu novo modelo de conversão de texto em fala, o S2, representando um avanço significativo em termos de expressividade e controlabilidade para a tecnologia TTS de código aberto.
Batizado de Fish Audio S2, este modelo prioriza um controle emocional poderoso. Os usuários podem fazer ajustes precisos na prosódia e na emoção usando instruções em linguagem natural. Ao inserir tags como [risada], [sussurro] ou [superfeliz], ou mesmo usando descrições livres como [tom de transmissão profissional] ou [aumentar o tom], ele permite um controle preciso, ao nível da palavra, para gerar uma fala altamente expressiva e naturalmente vívida.
Os principais recursos incluem:
Totalmente de código aberto: os pesos do modelo, o código de ajuste fino e o mecanismo de inferência de streaming baseado em SGLang estão todos disponíveis publicamente no GitHub e no Hugging Face. O S2-Pro é a versão principal, com aproximadamente 4,4 bilhões de parâmetros. Latência ultrabaixa: a latência de inferência é inferior a 150 milissegundos, tornando-o ideal para aplicações em tempo real, como chatbots e streamers virtuais. Suporte nativo a múltiplos falantes: ele pode processar vários falantes em uma única inferência, lidando com turnos de conversação, interrupções e transmissão emocional natural, mantendo a qualidade de voz consistente sem processamento extra.A Fish Audio informa que o S2 foi treinado com cerca de 10 milhões de horas de dados de áudio abrangendo quase 50 idiomas. Utilizando alinhamento de aprendizado por reforço e uma arquitetura autorregressiva dupla, ele demonstra naturalidade e expressividade de ponta em vários benchmarks. É considerado um dos sistemas de TTS mais emocionalmente inteligentes disponíveis, sejam eles de código aberto ou proprietários. “A verdadeira liberdade linguística começa agora”, anunciou a Fish Audio, marcando a chegada da fala com IA com emoção e personalidade genuínas.
GitHub: https://github.com/fishaudio/fish-speech/
HuggingFace:https://huggingface.co/fishaudio/s2-pro/
Stripe vai adquirir a OpenRouter à medida que o roteamento baseado em modelos de IA ganha força
A Stripe concordou em adquirir a OpenRouter, uma plataforma de roteamento de modelos de IA que oferece aos desenvolvedores acesso a centenas de modelos por meio de uma única interface. O acordo amplia
O ex-pesquisador da OpenAI, Barrett Zoph, retorna ao Google para apoiar o desenvolvimento do Gemini
Barret Zoph, que anteriormente havia deixado a empresa de forma repentina e se juntado à OpenAI devido a um desentendimento com a CEO da Thinking Machines Lab, Miriam Mularati, mudou de emprego mais u
Como a Recursive Intelligence levantou US$ 335 milhões com uma avaliação de US$ 4 bilhões em 4 meses
As cofundadoras da startup Ricursive Intelligence pareciam destinadas a serem cofundadoras.Anna Goldie, CEO, e Azalia Mirhoseini, CTO, são tão conhecidas na comunidade de IA que estavam entre os engen











