Stability AI lance un modèle de génération audio compatible avec les smartphones

La startup Stability AI a lancé Stable Audio Open Small, un modèle de génération audio stéréo qu'elle affirme être le plus rapide disponible et suffisamment efficace pour fonctionner sur des smartphones.

Stable Audio Open Small est le fruit d'un partenariat entre Stability AI et Arm, le fabricant de puces à l'origine de nombreux processeurs pour tablettes, téléphones et autres appareils mobiles. Si de nombreuses applications d'IA comme Suno et Udio peuvent générer du son, la plupart d'entre elles dépendent d'un traitement en nuage et ne peuvent pas fonctionner hors ligne.

Stability indique également que l'ensemble de données d'entraînement de Stable Audio Open Small est entièrement constitué de morceaux libres de droits provenant des bibliothèques Free Music Archive et Freesound. Cela contraste avec les ensembles de formation de Suno et d'Udio, qui incluraient du matériel protégé par des droits d'auteur, créant ainsi des risques potentiels en matière de propriété intellectuelle.

Avec 341 millions de paramètres et une optimisation pour les processeurs Arm, Stable Audio Open Small est conçu pour la création rapide de courts clips audio et d'effets sonores tels que des motifs de batterie et des riffs d'instruments. Stability AI affirme pouvoir générer jusqu'à 11 secondes de son sur un smartphone en moins de 8 secondes.

Écoutez cet échantillon créé avec Stable Audio Open Small :

Voici un autre exemple :

Le modèle a ses limites. Stable Audio Open Small n'accepte que les invites en anglais, et Stability indique dans sa documentation qu'il ne peut pas produire des voix réalistes ou des chansons de haute fidélité. Les performances varient également d'un genre musical à l'autre en raison de ses données d'entraînement centrées sur l'Occident.

Participez aux TechCrunch Sessions : IA

Réservez votre place à notre premier événement de l'industrie de l'IA avec des intervenants d'OpenAI, Anthropic et Cohere. Pour une durée limitée, assistez à une journée complète de conférences d'experts, d'ateliers et de réseautage précieux pour seulement 292 $.

Exposez à TechCrunch Sessions : AI

Réservez votre espace d'exposition aux TC Sessions : AI et présentez vos innovations à plus de 1 200 décideurs sans investissement important. Disponible jusqu'au 9 mai ou jusqu'à épuisement des stocks.

Les développeurs doivent également noter que Stable Audio Open Small est assorti de conditions d'utilisation quelque peu restrictives. Il est gratuit pour les chercheurs, les amateurs et les entreprises dont le chiffre d'affaires annuel est inférieur à 1 million de dollars, mais les développeurs et les organisations dont le chiffre d'affaires est supérieur à ce montant doivent acheter la licence d'entreprise de Stability.

Stability, la société à l'origine du modèle de génération d'images largement utilisé Stable Diffusion, a obtenu l'année dernière un financement supplémentaire de la part d'investisseurs tels qu'Eric Schmidt et Sean Parker, fondateur de Napster, afin d'aider à stabiliser l'entreprise. La mauvaise gestion présumée de l'ancien PDG et cofondateur Emad Mostaque aurait entraîné des difficultés financières, des départs de personnel, l'échec d'un partenariat avec Canva et l'inquiétude des investisseurs quant à l'avenir de l'entreprise.

Récemment, Stability a nommé un nouveau PDG, ajouté le réalisateur de Titanic, James Cameron, à son conseil d'administration et lancé plusieurs nouveaux modèles de génération d'images.