Stability AI bringt Smartphone-kompatibles Modell der Audio-Generation auf den Markt

Das KI-Startup Stability AI hat Stable Audio Open Small auf den Markt gebracht. Dabei handelt es sich um ein Modell zur Erzeugung von Stereo-Audio, das nach eigenen Angaben das schnellste auf dem Markt und effizient genug für den Betrieb auf Smartphones ist.

Stable Audio Open Small ist das Ergebnis einer Partnerschaft zwischen Stability AI und Arm, dem Chip-Hersteller, der hinter vielen Prozessoren in Tablets, Telefonen und anderen mobilen Geräten steht. Zwar können zahlreiche KI-Apps wie Suno und Udio Audio generieren, doch die meisten sind von der Cloud-Verarbeitung abhängig und können nicht offline funktionieren.

Stability gibt außerdem an, dass der Trainingsdatensatz von Stable Audio Open Small ausschließlich aus lizenzfreien Titeln aus dem Free Music Archive und den Freesound-Bibliotheken besteht. Dies steht im Gegensatz zu den Trainingsdatensätzen von Suno und Udio, die angeblich urheberrechtlich geschütztes Material enthalten, was ein potenzielles Risiko für geistiges Eigentum darstellt.

Mit 341 Millionen Parametern und der Optimierung für Arm-CPUs ist Stable Audio Open Small für die schnelle Erstellung von kurzen Audioclips und Soundeffekten wie Drum Patterns und Instrumentenriffs konzipiert. Stability AI behauptet, dass es bis zu 11 Sekunden Audio auf einem Smartphone in weniger als 8 Sekunden erzeugen kann.

Hören Sie sich dieses mit Stable Audio Open Small erstellte Beispiel an:

Hier ist ein weiteres Beispiel:

Das Modell hat einige Einschränkungen. Stable Audio Open Small akzeptiert nur Aufforderungen in englischer Sprache, und Stability weist in seiner Dokumentation darauf hin, dass es keine realistischen Gesangsstimmen oder High-Fidelity-Songs erzeugen kann. Aufgrund der westlich orientierten Trainingsdaten variiert die Leistung auch je nach Musikgenre.

Nehmen Sie an den TechCrunch Sessions teil: KI

Sichern Sie sich Ihren Platz auf unserer führenden KI-Branchenveranstaltung mit Rednern von OpenAI, Anthropic und Cohere. Für eine begrenzte Zeit können Sie einen ganzen Tag voller Expertengespräche, Workshops und wertvollem Networking für nur 292 $ besuchen.

Stellen Sie bei den TechCrunch Sessions aus: KI

Reservieren Sie Ihre Ausstellungsfläche bei den TC Sessions: AI und präsentieren Sie Ihre Innovationen vor über 1.200 Entscheidungsträgern ohne große Investitionen. Verfügbar bis zum 9. Mai oder solange der Vorrat reicht.

Entwickler sollten auch beachten, dass Stable Audio Open Small mit etwas restriktiven Nutzungsbestimmungen verbunden ist. Es ist für Forscher, Hobbyisten und Unternehmen mit einem Jahresumsatz von weniger als 1 Million Dollar kostenlos, aber Entwickler und Organisationen, die diesen Umsatz überschreiten, müssen die Unternehmenslizenz von Stability erwerben.

Stability, das Unternehmen, das hinter dem weit verbreiteten Bilderzeugungsmodell Stable Diffusion steht, hat sich im vergangenen Jahr zusätzliche Finanzmittel von Investoren wie Eric Schmidt und Napster-Gründer Sean Parker gesichert, um das Unternehmen zu stabilisieren. Die angebliche Misswirtschaft des ehemaligen CEO und Mitbegründers Emad Mostaque führte Berichten zufolge zu finanziellen Schwierigkeiten, Abgängen von Mitarbeitern, einer gescheiterten Partnerschaft mit Canva und Bedenken der Investoren hinsichtlich der Zukunft des Unternehmens.

In jüngster Zeit hat Stability einen neuen CEO ernannt, den Titanic-Regisseur James Cameron in den Vorstand aufgenommen und mehrere neue Bilderzeugungsmodelle herausgebracht.