Google Cloud усиливает инструменты ИИ для медиа с новыми музыкальными и видео функциями

В среду Google представил обновления для своей облачной платформы Vertex AI, улучшив несколько собственных моделей ИИ для создания медиа.

Lyria, ИИ Google для создания музыки из текста, теперь доступен в предварительной версии для избранных пользователей, в то время как видеомодель Veo 2 получила расширенные возможности редактирования и визуальных эффектов. Кроме того, Google представил функцию клонирования голоса на основе модели обработки звука Chirp 3 для одобренных пользователей. Генератор изображений Imagen 3 теперь демонстрирует заметно улучшенную производительность, по словам Google.

Анонсированные на Cloud Next, эти обновления укрепляют позиции Google в стремлении лидировать на рынке генеративного ИИ для предприятий, конкурируя с платформой Amazon Bedrock, которая предлагает схожие инструменты ИИ.

Google позиционирует Lyria как замену библиотекам музыки без авторских отчислений, позволяя пользователям создавать песни в различных стилях, от джазовых фортепианных соло до лоу-фай битов.

Chirp 3 поддерживает синтез речи примерно на 35 языках. Впервые представленная ранее в этом году, она обеспечивает функцию Instant Custom Voice, которая может воспроизвести голос на основе всего 10 секунд аудио и теперь широко доступна. Chirp 3 также поддерживает новый инструмент предварительного просмотра, Transcription with Diarization, который различает и помечает спикеров в записях с несколькими участниками.

Для предотвращения злоупотреблений функция Instant Custom Voice проходит процесс проверки для обеспечения надлежащего разрешения на использование голоса, сообщает Google.

Veo 2 теперь позволяет пользователям удалять фоны, логотипы или объекты из видео и расширять видеокадры, например, конвертировать горизонтальные кадры в портретные. Она также поддерживает настройку углов камеры и темпа для сцен, сгенерированных ИИ, создавая эффекты, такие как таймлапсы или съемка в стиле дрона, и может интерполировать между заданными начальным и конечным кадрами.

Эти функции Veo 2 в настоящее время находятся в предварительной версии.

Google отметил, что улучшения Imagen 3 повышают его способность удалять объекты и восстанавливать отсутствующие или поврежденные области изображения.

Все медиа, созданные Imagen, Veo и Lyria (но не Chirp), имеют водяной знак SynthID от Google. Google подчеркнул, что его генеративные модели ИИ включают защитные механизмы для предотвращения создания вредоносного контента.

Google не раскрыл данные, использованные для обучения своих моделей, что часто вызывает споры из-за вопросов интеллектуальной собственности. Некоторые компании обучают ИИ на материалах, защищенных авторским правом, без разрешения, ссылаясь на защиту добросовестного использования в США, хотя создатели часто оспаривают это в судах.

Google ранее сообщил TechCrunch, что предоставляет возможность отказаться от использования данных для обучения моделей и политику компенсации для защиты пользователей Google Cloud и Vertex AI от претензий, связанных с авторским правом на ИИ.