Stability AI lança modelo de geração de áudio compatível com smartphone

A startup de IA Stability AI lançou o Stable Audio Open Small, um modelo de geração de áudio estéreo que afirma ser o mais rápido disponível e eficiente o suficiente para operar em smartphones.

O Stable Audio Open Small é resultado de uma parceria entre a Stability AI e a Arm, a fabricante de chips por trás de muitos processadores em tablets, telefones e outros dispositivos móveis. Embora vários aplicativos de IA, como Suno e Udio, possam gerar áudio, a maioria depende do processamento em nuvem e não pode funcionar off-line.

A Stability também afirma que o conjunto de dados de treinamento do Stable Audio Open Small consiste inteiramente em faixas livres de royalties das bibliotecas Free Music Archive e Freesound. Isso contrasta com os conjuntos de treinamento da Suno e da Udio, que supostamente incluem material protegido por direitos autorais, criando possíveis riscos à propriedade intelectual.

Com 341 milhões de parâmetros e otimização para CPUs Arm, o Stable Audio Open Small foi projetado para a criação rápida de clipes de áudio curtos e efeitos sonoros, como padrões de bateria e riffs de instrumentos. A Stability AI afirma que pode gerar até 11 segundos de áudio em um smartphone em menos de 8 segundos.

Ouça esta amostra criada com o Stable Audio Open Small:

Aqui está outro exemplo:

O modelo tem limitações. O Stable Audio Open Small só aceita prompts em inglês, e o Stability observa em sua documentação que não pode produzir vocais realistas ou músicas de alta fidelidade. O desempenho também varia entre os gêneros musicais devido aos seus dados de treinamento centrados no Ocidente.

Participe do TechCrunch Sessions: IA

Garanta seu lugar em nosso principal evento do setor de IA, com palestrantes da OpenAI, Anthropic e Cohere. Por tempo limitado, participe de um dia inteiro de palestras de especialistas, workshops e valioso networking por apenas US$ 292.

Exponha no TechCrunch Sessions: IA

Reserve seu espaço de exposição no TC Sessions: AI e apresente suas inovações para mais de 1.200 tomadores de decisão sem um grande investimento. Disponível até 9 de maio ou enquanto durarem os estoques.

Os desenvolvedores também devem observar que o Stable Audio Open Small vem com termos de uso um tanto restritivos. Ele é gratuito para pesquisadores, amadores e empresas com menos de US$ 1 milhão em receita anual, mas os desenvolvedores e as organizações que excederem essa receita deverão adquirir a licença corporativa da Stability.

A Stability, a empresa por trás do modelo de geração de imagens amplamente utilizado Stable Diffusion, obteve financiamento adicional no ano passado de investidores, incluindo Eric Schmidt e o fundador do Napster, Sean Parker, para ajudar a estabilizar os negócios. A suposta má administração do ex-CEO e cofundador Emad Mostaque teria levado a dificuldades financeiras, demissões de funcionários, uma parceria fracassada com o Canva e preocupações dos investidores sobre o futuro da empresa.

Recentemente, a Stability nomeou um novo CEO, adicionou o diretor de Titanic, James Cameron, à sua diretoria e lançou vários novos modelos de geração de imagens.