Стабильность ИИ улучшает аудио -модель для чипов рук

Стартап в области ИИ Stability AI объединил усилия с производителем чипов Arm, чтобы внедрить модель ИИ Stable Audio Open, способную генерировать аудио, такое как звуковые эффекты, на мобильные устройства с чипами Arm.

Хотя приложения, такие как Suno и Udio, могут генерировать аудио, они обычно зависят от облачной обработки, что делает их непригодными для использования в оффлайн-режиме. Кроме того, некоторые модели генерации аудио обучались на материалах, защищенных авторским правом, что вызывает вопросы по интеллектуальной собственности. Однако Stability утверждает, что Stable Audio Open обучалась исключительно на аудио и песнях, свободных от лицензионных платежей.

На этой неделе на Mobile World Congress в Барселоне Stability продемонстрирует работу Stable Audio Open на чипах Arm. Эта модель может создавать звуки на основе текстовых подсказок, например, «Мягкие морские волны на закате». Благодаря сотрудничеству с Arm, Stability оптимизировала и «дистиллировала» Stable Audio Open, увеличив скорость генерации в 30 раз. На процессоре Armv9 создание 11-секундного аудиосэмпла теперь занимает всего около 8 секунд.

Для ясности, оптимизированная модель Stable Audio Open пока не готова к загрузке. Но генеральный директор Stability, Прем Аккараджу, намекнул в заявлении, что компания планирует интегрировать свои модели, включая Stable Audio Open, в потребительские приложения и устройства в будущем.

Аккараджу подчеркнул: «Поскольку все больше профессиональных креативщиков и компаний используют генеративный ИИ для поддержки своих производственных процессов, крайне важно, чтобы наши модели и рабочие процессы были доступны повсюду для разработчиков, чтобы строить, и для создателей, чтобы творить. Мы рады сотрудничать с Arm именно по этой причине».

Stability также работает с Arm над дальнейшим усовершенствованием и оптимизацией Stable Audio Open для мобильного использования.

Stability, компания, стоящая за известной моделью генерации изображений Stable Diffusion, в прошлом году привлекла новое финансирование. Инвесторы, такие как Эрик Шмидт и основатель Napster Шон Паркер, вмешались, чтобы помочь компании вернуться на правильный путь. Ранее соучредитель и бывший генеральный директор Stability, Эмад Мостак, по слухам, довел компанию до грани финансового краха, что привело к уходу сотрудников, провалу партнерства с Canva и беспокойству инвесторов о будущем компании.

В последние месяцы Stability назначила нового генерального директора, привлекла режиссера «Титаника» Джеймса Кэмерона в свой совет директоров и запустила несколько новых моделей генерации изображений.