Stability AI lanza un modelo de generación de audio compatible con teléfonos inteligentes

La empresa de IA Stability AI ha lanzado Stable Audio Open Small, un modelo de generación de audio estéreo que, según afirma, es el más rápido disponible y lo bastante eficiente para funcionar en smartphones.

Stable Audio Open Small es el resultado de la colaboración entre Stability AI y Arm, el fabricante de chips responsable de muchos de los procesadores de tabletas, teléfonos y otros dispositivos móviles. Aunque numerosas aplicaciones de IA como Suno y Udio pueden generar audio, la mayoría dependen del procesamiento en la nube y no pueden funcionar sin conexión.

Stability también afirma que el conjunto de datos de entrenamiento de Stable Audio Open Small consiste íntegramente en pistas libres de derechos de las bibliotecas Free Music Archive y Freesound. Esto contrasta con los conjuntos de datos de entrenamiento de Suno y Udio, que incluyen material protegido por derechos de autor, lo que crea riesgos potenciales para la propiedad intelectual.

Con 341 millones de parámetros y optimizado para CPU Arm, Stable Audio Open Small está diseñado para la creación rápida de clips de audio cortos y efectos de sonido como patrones de batería y riffs de instrumentos. Stability AI afirma que puede generar hasta 11 segundos de audio en un smartphone en menos de 8 segundos.

Escucha esta muestra creada con Stable Audio Open Small:

Aquí tienes otro ejemplo:

El modelo tiene sus limitaciones. Stable Audio Open Small sólo acepta indicaciones en inglés, y Stability señala en su documentación que no puede producir voces realistas ni canciones de alta fidelidad. El rendimiento también varía en función del género musical debido a sus datos de entrenamiento centrados en Occidente.

Únete a las sesiones de TechCrunch: AI

Asegúrese su plaza en nuestro principal evento del sector de la IA, con ponentes de OpenAI, Anthropic y Cohere. Por tiempo limitado, asista a un día completo de charlas de expertos, talleres y valiosos contactos por sólo 292 $.

Exponga en TechCrunch Sessions: AI

Reserve su espacio de exposición en TC Sessions: AI y presente sus innovaciones a más de 1.200 responsables de la toma de decisiones sin realizar una gran inversión. Disponible hasta el 9 de mayo o hasta agotar existencias.

Los desarrolladores también deben tener en cuenta que Stable Audio Open Small viene con unas condiciones de uso algo restrictivas. Es gratuito para investigadores, aficionados y empresas con ingresos anuales inferiores a un millón de dólares, pero los desarrolladores y organizaciones que superen esos ingresos deben adquirir la licencia empresarial de Stability.

Stability, la empresa creadora del modelo de generación de imágenes Stable Diffusion, obtuvo el año pasado financiación adicional de inversores como Eric Schmidt y Sean Parker, fundador de Napster, para ayudar a estabilizar el negocio. Al parecer, la supuesta mala gestión del anterior consejero delegado y cofundador, Emad Mostaque, provocó dificultades financieras, la salida de empleados, el fracaso de la asociación con Canva y la preocupación de los inversores por el futuro de la empresa.

Recientemente, Stability ha nombrado un nuevo consejero delegado, ha incorporado a su consejo al director de Titanic James Cameron y ha lanzado varios modelos nuevos de generación de imágenes.