Дом
Stability AI представляет Stable Audio 3 для генерации аудиозаписей длительностью менее секунды
Stability AI, известная компания в области искусственного интеллекта, официально выпустила свою аудиомодель последнего поколения Stable Audio3 и одновременно открыла доступ к части весов модели в формате открытого исходного кода. Эта система, построенная на основе модели латентной диффузии, специально разработанной для генерации и редактирования аудио, не только поддерживает высококачественный стереовыход, но и обеспечивает значительный прорыв в скорости генерации.
Недавно выпущенное семейство моделей охватывает широкий диапазон технических характеристик — от небольших до крупных — и удовлетворяет разнообразные потребности, такие как создание музыки и производство звуковых эффектов. Примечательно, что модель поддерживает генерацию аудиозаписей переменной длины и внедряет функцию редактирования аудио на основе внутренней технологии восстановления изображений, предлагая творцам беспрецедентную гибкость.

Инновационная архитектура преодолевает аппаратные ограничения
Stable Audio3 состоит из двух основных компонентов: семантического акустического автокодера под названием SAME и эффективного диффузионного трансформатора. Автокодер SAME обеспечивает коэффициент сжатия аудио до 4096x — это прорывная конструкция, которая значительно сокращает длину латентной последовательности.
Благодаря этому эффективному механизму сжатия модель может бесперебойно выполнять задачи генерации аудио большого объема и длительной продолжительности даже на обычном оборудовании потребительского уровня. Это не только значительно снижает технические барьеры для создания высококачественного аудио, но и делает возможным производство аудио- и видеоконтента профессионального уровня в домашних условиях для отдельных авторов.

Сверхвысокая эффективность обеспечивает мгновенный рендеринг
Благодаря поддержке технологии переменной длины вычислительные затраты новой модели динамически масштабируются в зависимости от требуемой пользователем продолжительности аудио, что полностью устраняет растрату вычислительной мощности, характерную для подходов с фиксированной длиной, использовавшихся ранее. В ходе тестирования на высокопроизводительном оборудовании модель способна рендерить 20-секундный аудиофрагмент примерно за 0,62 секунды и сгенерировать музыкальный фрагмент длиной 380 секунд всего за 1,31 секунды.
Кроме того, благодаря инновационному трехэтапному процессу обучения Stable Audio3 больше не полагается на традиционную технологию управления без классификатора во время инференса, что позволяет обеспечить сверхбыструю одношаговую прямую прогонку. В настоящее время веса малых и средних моделей доступны для общего пользования на платформе Hugging Face, а более крупная версия с более высокой производительностью будет предоставляться по коммерческой лицензии.
Связанная статья
Ctrip Business Travel представляет экосистему искусственного интеллекта, включающую 7 отраслевых агентов и 17 ключевых функций
Ctrip Business Travel официально представила «Экосистему искусственного интеллекта Ctrip Business Travel», которая использует крупные языковые модели для коренной перестройки системы управления корпор
Stripe приобретет OpenRouter на фоне роста популярности маршрутизации на основе моделей искусственного интеллекта
Компания Stripe согласилась приобрести OpenRouter — платформу для маршрутизации моделей искусственного интеллекта, которая предоставляет разработчикам доступ к сотням моделей через единый интерфейс. Э
Бывший исследователь OpenAI Барретт Зоф возвращается в Google для участия в разработке Gemini
Баррет Зоф, который ранее внезапно уволился и перешел в OpenAI из-за разногласий с генеральным директором Thinking Machines Lab Мириам Муларати, вновь сменил работодателя. Компания Google, входящая в
Рекомендации по связанным специальным темам
Комментарии (0)
Stability AI, известная компания в области искусственного интеллекта, официально выпустила свою аудиомодель последнего поколения
Недавно выпущенное семейство моделей охватывает широкий диапазон технических характеристик — от небольших до крупных — и удовлетворяет разнообразные потребности, такие как создание музыки и производство звуковых эффектов. Примечательно, что модель поддерживает генерацию аудиозаписей переменной длины и внедряет функцию редактирования аудио на основе внутренней технологии восстановления изображений, предлагая творцам беспрецедентную гибкость.

Инновационная архитектура преодолевает аппаратные ограничения
Благодаря этому эффективному механизму сжатия модель может бесперебойно выполнять задачи генерации аудио большого объема и длительной продолжительности даже на обычном оборудовании потребительского уровня. Это не только значительно снижает технические барьеры для создания высококачественного аудио, но и делает возможным производство аудио- и видеоконтента профессионального уровня в домашних условиях для отдельных авторов.

Сверхвысокая эффективность обеспечивает мгновенный рендеринг
Благодаря поддержке технологии переменной длины вычислительные затраты новой модели динамически масштабируются в зависимости от требуемой пользователем продолжительности аудио, что полностью устраняет растрату вычислительной мощности, характерную для подходов с фиксированной длиной, использовавшихся ранее. В ходе тестирования на высокопроизводительном оборудовании модель способна рендерить 20-секундный аудиофрагмент примерно за 0,62 секунды и сгенерировать музыкальный фрагмент длиной 380 секунд всего за 1,31 секунды.
Кроме того, благодаря инновационному трехэтапному процессу обучения
Ctrip Business Travel представляет экосистему искусственного интеллекта, включающую 7 отраслевых агентов и 17 ключевых функций
Ctrip Business Travel официально представила «Экосистему искусственного интеллекта Ctrip Business Travel», которая использует крупные языковые модели для коренной перестройки системы управления корпор
Stripe приобретет OpenRouter на фоне роста популярности маршрутизации на основе моделей искусственного интеллекта
Компания Stripe согласилась приобрести OpenRouter — платформу для маршрутизации моделей искусственного интеллекта, которая предоставляет разработчикам доступ к сотням моделей через единый интерфейс. Э
Бывший исследователь OpenAI Барретт Зоф возвращается в Google для участия в разработке Gemini
Баррет Зоф, который ранее внезапно уволился и перешел в OpenAI из-за разногласий с генеральным директором Thinking Machines Lab Мириам Муларати, вновь сменил работодателя. Компания Google, входящая в











