Инструмент Adobe AI преобразует простые звуки в реалистичные аудиоэффекты
Adobe запускает новые генеративные функции искусственного интеллекта для кинематографистов, предлагая творческие способы создания звуковых эффектов и управления видео, сгенерированным искусственным интеллектом. Помимо стандартных текстовых подсказок, используемых для управления моделями искусственного интеллекта Adobe Firefly, создатели теперь могут использовать озвученные звуковые эффекты, такие как произнесенные «бум» или «шум», для генерации пользовательского аудио, а также использовать эталонные клипы для влияния на движение в видео, созданных Firefly.
Бета-версия инструмента Generate Sound Effects в приложении Firefly работает как с записанными, так и с генерируемыми ИИ видеороликами, предоставляя пользователям более точный контроль над аудио по сравнению с такими вариантами, как Veo от Google. Его интерфейс имитирует временную шкалу видеоредактора, позволяя пользователям синхронизировать вновь созданные звуки с загруженным видео. Например, при просмотре клипа с идущей лошадью пользователь может произнести «clip-clop» в ритме ее шагов и добавить текстовое описание «копыта по бетону». Затем инструмент генерирует четыре различных варианта звуковых эффектов на выбор.
Эта функция расширяет возможности демо-версии Project Super Sonic, представленной Adobe в октябре прошлого года. Она не предназначена для речи, но может создавать звуки ударов, такие как ломающиеся веточки, шаги или звуки застежки-молнии, а также фоновые звуки окружающей среды, такие как природные сцены или городской гул.
Adobe также представляет расширенные элементы управления для своего генератора Firefly Text-to-Video. С помощью Composition Reference пользователи могут загружать видео вместе с текстовым запросом, чтобы воспроизвести кадрирование и углы камеры этого клипа в выходе, сгенерированном ИИ, что упрощает получение желаемого результата без многократной настройки текстовых описаний. Обрезка ключевых кадров позволяет пользователям обрезать и загружать изображения для начального и конечного кадров, которые Firefly использует для генерации видео между ними. Новые предустановленные стили предлагают ряд визуальных эффектов, которые можно быстро применить, включая аниме, векторную графику, пластилиновую анимацию и другие.

Примеры предустановок стилей, предназначенных для управления выходом видео, сгенерированного ИИ Adobe. Изображение: AdobeВ настоящее время эти предустановленные стили работают только с собственной моделью искусственного интеллекта Adobe Firefly. Судя по живой демонстрации, результаты не идеальны — например, предустановленный стиль «пластилиновая анимация» напоминает 3D-анимацию начала 2000-х годов. Однако Adobe продолжает интегрировать поддержку конкурирующих моделей искусственного интеллекта в свои инструменты. Александру Костин, руководитель отдела генеративного ИИ Adobe, сообщил The Verge, что аналогичные элементы управления и пресеты могут стать доступными для сторонних моделей ИИ в будущем. Этот шаг свидетельствует о стремлении Adobe сохранить лидирующие позиции в области творческого программного обеспечения по мере роста популярности инструментов ИИ, даже если собственные генеративные модели компании не всегда соответствуют уровням лидеров, таких как OpenAI или Google.
Связанная статья
Warner Music приобретает стартап в области атрибуции с использованием искусственного интеллекта Sureel AI
Warner Music Group (WMG) подтвердила в среду, что приобретает Sureel AI, стартап в области атрибуции с использованием искусственного интеллекта. Собственная технология Sureel создает «ИИ-ДНК» для музыкальных треков, разбивая их на составляющие элемен
Amazon представляет Alexa для покупок, отодвигая Rufus на второй план
Amazon запустила Alexa for Shopping, объединив своего чат-бота для покупок Rufus с Alexa+ в приложении, на веб-сайте и устройствах Echo Show.Ассистент отвечает на запросы о товарах, сравнивает товары, отслеживает цены и поддерживает напоминания о по
Microsoft, Azure и технологии искусственного интеллекта борются с рисками лесных пожаров в Калифорнии
Компания Microsoft инвестирует в разработку систем обнаружения лесных пожаров на основе искусственного интеллекта; Хуан Лависта Феррес, старший вице-президент и главный специалист по данным, обсуждает
Рекомендации по связанным специальным темам
Комментарии (1)
Sound design is the unsung hero of filmmaking! This tool allowing us to sketch audio with simple vocalizations is a game-changer. It lowers the barrier for indie creators who might not have a huge sound library 🎙️. But I do wonder, as these models get better, will we start losing the art of foley and the unique 'imperfect' textures created by real-world objects?
Adobe запускает новые генеративные функции искусственного интеллекта для кинематографистов, предлагая творческие способы создания звуковых эффектов и управления видео, сгенерированным искусственным интеллектом. Помимо стандартных текстовых подсказок, используемых для управления моделями искусственного интеллекта Adobe Firefly, создатели теперь могут использовать озвученные звуковые эффекты, такие как произнесенные «бум» или «шум», для генерации пользовательского аудио, а также использовать эталонные клипы для влияния на движение в видео, созданных Firefly.
Бета-версия инструмента Generate Sound Effects в приложении Firefly работает как с записанными, так и с генерируемыми ИИ видеороликами, предоставляя пользователям более точный контроль над аудио по сравнению с такими вариантами, как Veo от Google. Его интерфейс имитирует временную шкалу видеоредактора, позволяя пользователям синхронизировать вновь созданные звуки с загруженным видео. Например, при просмотре клипа с идущей лошадью пользователь может произнести «clip-clop» в ритме ее шагов и добавить текстовое описание «копыта по бетону». Затем инструмент генерирует четыре различных варианта звуковых эффектов на выбор.
Эта функция расширяет возможности демо-версии Project Super Sonic, представленной Adobe в октябре прошлого года. Она не предназначена для речи, но может создавать звуки ударов, такие как ломающиеся веточки, шаги или звуки застежки-молнии, а также фоновые звуки окружающей среды, такие как природные сцены или городской гул.
Adobe также представляет расширенные элементы управления для своего генератора Firefly Text-to-Video. С помощью Composition Reference пользователи могут загружать видео вместе с текстовым запросом, чтобы воспроизвести кадрирование и углы камеры этого клипа в выходе, сгенерированном ИИ, что упрощает получение желаемого результата без многократной настройки текстовых описаний. Обрезка ключевых кадров позволяет пользователям обрезать и загружать изображения для начального и конечного кадров, которые Firefly использует для генерации видео между ними. Новые предустановленные стили предлагают ряд визуальных эффектов, которые можно быстро применить, включая аниме, векторную графику, пластилиновую анимацию и другие.

В настоящее время эти предустановленные стили работают только с собственной моделью искусственного интеллекта Adobe Firefly. Судя по живой демонстрации, результаты не идеальны — например, предустановленный стиль «пластилиновая анимация» напоминает 3D-анимацию начала 2000-х годов. Однако Adobe продолжает интегрировать поддержку конкурирующих моделей искусственного интеллекта в свои инструменты. Александру Костин, руководитель отдела генеративного ИИ Adobe, сообщил The Verge, что аналогичные элементы управления и пресеты могут стать доступными для сторонних моделей ИИ в будущем. Этот шаг свидетельствует о стремлении Adobe сохранить лидирующие позиции в области творческого программного обеспечения по мере роста популярности инструментов ИИ, даже если собственные генеративные модели компании не всегда соответствуют уровням лидеров, таких как OpenAI или Google.
Warner Music приобретает стартап в области атрибуции с использованием искусственного интеллекта Sureel AI
Warner Music Group (WMG) подтвердила в среду, что приобретает Sureel AI, стартап в области атрибуции с использованием искусственного интеллекта. Собственная технология Sureel создает «ИИ-ДНК» для музыкальных треков, разбивая их на составляющие элемен
Microsoft, Azure и технологии искусственного интеллекта борются с рисками лесных пожаров в Калифорнии
Компания Microsoft инвестирует в разработку систем обнаружения лесных пожаров на основе искусственного интеллекта; Хуан Лависта Феррес, старший вице-президент и главный специалист по данным, обсуждает
Sound design is the unsung hero of filmmaking! This tool allowing us to sketch audio with simple vocalizations is a game-changer. It lowers the barrier for indie creators who might not have a huge sound library 🎙️. But I do wonder, as these models get better, will we start losing the art of foley and the unique 'imperfect' textures created by real-world objects?





Дом






