La stabilité AI améliore le modèle audio pour les puces ARM

La startup d'IA Stability AI s'est associée au fabricant de puces Arm pour intégrer le modèle Stable Audio Open de Stability, un modèle d'IA capable de générer des sons tels que des effets sonores, sur les appareils mobiles équipés de puces Arm.

Alors que des applications comme Suno et Udio peuvent générer des sons, elles dépendent généralement du traitement en nuage, ce qui signifie qu'elles ne sont pas utilisables hors ligne. De plus, certains modèles de génération audio ont été entraînés sur du matériel protégé par des droits d'auteur, soulevant des préoccupations liées à la propriété intellectuelle. Stability, cependant, affirme que Stable Audio Open a été entraîné uniquement sur des sons et chansons libres de droits.

Lors du Mobile World Congress à Barcelone cette semaine, Stability présentera Stable Audio Open fonctionnant sur des puces Arm. Ce modèle peut créer des sons à partir de prompts textuels, tels que « Vagues douces de l'océan au coucher du soleil ». Grâce à la collaboration avec Arm, Stability a optimisé et « distillé » Stable Audio Open, augmentant les vitesses de génération de 30 fois. Sur un processeur Armv9, la création d'un échantillon audio de 11 secondes ne prend désormais qu'environ 8 secondes.

Pour clarifier, le modèle optimisé Stable Audio Open n'est pas encore prêt à être téléchargé. Mais le PDG de Stability, Prem Akkaraju, a laissé entendre dans une déclaration que l'entreprise vise à intégrer ses modèles, y compris Stable Audio Open, dans des applications et appareils grand public à l'avenir.

Akkaraju a souligné : « À mesure que de plus en plus de créateurs professionnels et d'entreprises adoptent l'IA générative pour alimenter leur pipeline de production, il est crucial que nos modèles et flux de travail soient accessibles partout pour que les constructeurs puissent construire et les créateurs puissent créer. Nous sommes ravis de collaborer avec Arm pour cette raison même. »

Stability travaille également avec Arm pour affiner et optimiser davantage Stable Audio Open pour une utilisation mobile.

Stability, l'entreprise à l'origine du modèle de génération d'images bien connu Stable Diffusion, a réussi à obtenir un nouveau financement l'année dernière. Des investisseurs comme Eric Schmidt et le fondateur de Napster, Sean Parker, sont intervenus pour aider à remettre l'entreprise sur les rails. Auparavant, le cofondateur de Stability et ancien PDG, Emad Mostaque, aurait mal géré l'entreprise jusqu'au bord de l'effondrement financier, provoquant des départs de personnel, un partenariat échoué avec Canva, et une inquiétude des investisseurs quant à l'avenir de l'entreprise.

Ces derniers mois, Stability a nommé un nouveau PDG, a accueilli le réalisateur de Titanic, James Cameron, au sein de son conseil d'administration, et a lancé plusieurs nouveaux modèles de génération d'images.