Adobe AI Tool wandelt einfache Geräusche in realistische Audioeffekte um
Adobe führt neue generative KI-Funktionen für Filmemacher ein, die kreative Möglichkeiten zur Erzeugung von Soundeffekten und zur Steuerung von KI-generierten Videos bieten. Über die standardmäßigen Textbefehle zur Steuerung der Firefly-KI-Modelle von Adobe hinaus können Kreative nun auch gesprochene Soundeffekte wie „Boom“ oder „Whoosh“ verwenden, um benutzerdefinierte Audiodaten zu generieren, und Referenzclips nutzen, um die Bewegung in den von Firefly erstellten Videos zu beeinflussen.
Die Beta-Version des Tools „Generate Sound Effects“ in der Firefly-App funktioniert sowohl mit aufgezeichnetem als auch mit KI-generiertem Filmmaterial und bietet Benutzern eine präzisere Audiosteuerung als Optionen wie Googles Veo. Die Benutzeroberfläche ähnelt der Zeitleiste eines Video-Editors und ermöglicht es Benutzern, neu erstellte Sounds mit ihren hochgeladenen Videos zu synchronisieren. Während ein Nutzer beispielsweise einen Clip mit einem laufenden Pferd ansieht, könnte er im Rhythmus der Schritte „clip-clop“ sagen und die Textbeschreibung „Hufe auf Beton“ hinzufügen. Das Tool erzeugt dann vier verschiedene Soundeffekt-Optionen zur Auswahl.
Diese Funktion erweitert die Demo des Projekts Super Sonic, das Adobe im vergangenen Oktober vorgestellt hat. Es ist nicht für Sprache konzipiert, kann aber Geräusche wie brechende Zweige, Schritte oder Reißverschlussgeräusche sowie Umgebungsgeräusche wie Naturgeräusche oder Stadtlärm erzeugen.
Adobe führt außerdem erweiterte Steuerungsfunktionen für seinen Firefly Text-to-Video-Generator ein. Mit „Composition Reference“ können Benutzer ein Video zusammen mit ihrer Textvorlage hochladen, um den Bildausschnitt und die Kamerawinkel dieses Clips in der KI-generierten Ausgabe zu replizieren. So lässt sich das gewünschte Ergebnis einfacher erzielen, ohne die Textbeschreibungen wiederholt anpassen zu müssen. Mit „Keyframe Cropping“ können Benutzer Bilder für den Start- und Endframe zuschneiden und hochladen, die Firefly dann zur Generierung des dazwischen liegenden Videos verwendet. Neue Stilvoreinstellungen bieten eine Reihe von visuellen Ästhetiken, die schnell angewendet werden können, darunter Anime, Vektorgrafiken, Claymation und andere.

Beispiele für Stilvoreinstellungen, die als Leitfaden für die Ausgabe der KI-Videogenerierung von Adobe dienen. Bild: AdobeDiese Stilvoreinstellungen funktionieren derzeit nur mit dem Adobe-eigenen Firefly-Video-KI-Modell. Basierend auf einer Live-Demo sind die Ergebnisse nicht perfekt – beispielsweise ähnelte die Voreinstellung „Claymation“ einer 3D-Animation aus den frühen 2000er Jahren. Adobe integriert jedoch weiterhin die Unterstützung für konkurrierende KI-Modelle in seine Tools. Alexandru Costin, Leiter der Abteilung Generative KI bei Adobe, erklärte gegenüber The Verge, dass ähnliche Steuerelemente und Voreinstellungen möglicherweise auch für KI-Modelle von Drittanbietern verfügbar sein werden. Dieser Schritt signalisiert das Bestreben von Adobe, seine führende Position im Bereich der Kreativsoftware zu behaupten, während KI-Tools an Bedeutung gewinnen, auch wenn die eigenen generativen Modelle nicht immer mit denen von Marktführern wie OpenAI oder Google mithalten können.
Verwandter Artikel
Warner Music übernimmt das KI-Zuschreibungsstart-up Sureel AI
Warner Music Group (WMG) hat am Mittwoch bestätigt, dass es Sureel AI, ein Startup für KI-gestützte Attribution, übernimmt. Die proprietäre Technologie von Sureel generiert „AI-DNA“ für Musikstücke, indem sie diese in ihre Bestandteile zerlegt, um na
Amazon führt Alexa für den Einkauf ein und schiebt Rufus in den Hintergrund
Amazon hat Alexa for Shopping eingeführt, indem es den Rufus-Shopping-Chatbot mit Alexa+ in der App, auf der Website und auf Echo Show-Geräten zusammenführt.Der Assistent beantwortet Produktanfragen, vergleicht Artikel, verfolgt Preise und unterstüt
Microsoft, Azure und KI-Technologie bekämpfen die Risiken von Waldbränden in Kalifornien
Microsoft investiert in die KI-gestützte Erkennung von Waldbränden. Juan Lavista Ferres, CVP und Chief Data Scientist, erörtert Strategien zur Eindämmung von Umweltschäden.Laut der NASA betrifft der K
Empfehlungen zu verwandten Spezialthemen
Kommentare (1)
Sound design is the unsung hero of filmmaking! This tool allowing us to sketch audio with simple vocalizations is a game-changer. It lowers the barrier for indie creators who might not have a huge sound library 🎙️. But I do wonder, as these models get better, will we start losing the art of foley and the unique 'imperfect' textures created by real-world objects?
Adobe führt neue generative KI-Funktionen für Filmemacher ein, die kreative Möglichkeiten zur Erzeugung von Soundeffekten und zur Steuerung von KI-generierten Videos bieten. Über die standardmäßigen Textbefehle zur Steuerung der Firefly-KI-Modelle von Adobe hinaus können Kreative nun auch gesprochene Soundeffekte wie „Boom“ oder „Whoosh“ verwenden, um benutzerdefinierte Audiodaten zu generieren, und Referenzclips nutzen, um die Bewegung in den von Firefly erstellten Videos zu beeinflussen.
Die Beta-Version des Tools „Generate Sound Effects“ in der Firefly-App funktioniert sowohl mit aufgezeichnetem als auch mit KI-generiertem Filmmaterial und bietet Benutzern eine präzisere Audiosteuerung als Optionen wie Googles Veo. Die Benutzeroberfläche ähnelt der Zeitleiste eines Video-Editors und ermöglicht es Benutzern, neu erstellte Sounds mit ihren hochgeladenen Videos zu synchronisieren. Während ein Nutzer beispielsweise einen Clip mit einem laufenden Pferd ansieht, könnte er im Rhythmus der Schritte „clip-clop“ sagen und die Textbeschreibung „Hufe auf Beton“ hinzufügen. Das Tool erzeugt dann vier verschiedene Soundeffekt-Optionen zur Auswahl.
Diese Funktion erweitert die Demo des Projekts Super Sonic, das Adobe im vergangenen Oktober vorgestellt hat. Es ist nicht für Sprache konzipiert, kann aber Geräusche wie brechende Zweige, Schritte oder Reißverschlussgeräusche sowie Umgebungsgeräusche wie Naturgeräusche oder Stadtlärm erzeugen.
Adobe führt außerdem erweiterte Steuerungsfunktionen für seinen Firefly Text-to-Video-Generator ein. Mit „Composition Reference“ können Benutzer ein Video zusammen mit ihrer Textvorlage hochladen, um den Bildausschnitt und die Kamerawinkel dieses Clips in der KI-generierten Ausgabe zu replizieren. So lässt sich das gewünschte Ergebnis einfacher erzielen, ohne die Textbeschreibungen wiederholt anpassen zu müssen. Mit „Keyframe Cropping“ können Benutzer Bilder für den Start- und Endframe zuschneiden und hochladen, die Firefly dann zur Generierung des dazwischen liegenden Videos verwendet. Neue Stilvoreinstellungen bieten eine Reihe von visuellen Ästhetiken, die schnell angewendet werden können, darunter Anime, Vektorgrafiken, Claymation und andere.

Diese Stilvoreinstellungen funktionieren derzeit nur mit dem Adobe-eigenen Firefly-Video-KI-Modell. Basierend auf einer Live-Demo sind die Ergebnisse nicht perfekt – beispielsweise ähnelte die Voreinstellung „Claymation“ einer 3D-Animation aus den frühen 2000er Jahren. Adobe integriert jedoch weiterhin die Unterstützung für konkurrierende KI-Modelle in seine Tools. Alexandru Costin, Leiter der Abteilung Generative KI bei Adobe, erklärte gegenüber The Verge, dass ähnliche Steuerelemente und Voreinstellungen möglicherweise auch für KI-Modelle von Drittanbietern verfügbar sein werden. Dieser Schritt signalisiert das Bestreben von Adobe, seine führende Position im Bereich der Kreativsoftware zu behaupten, während KI-Tools an Bedeutung gewinnen, auch wenn die eigenen generativen Modelle nicht immer mit denen von Marktführern wie OpenAI oder Google mithalten können.
Warner Music übernimmt das KI-Zuschreibungsstart-up Sureel AI
Warner Music Group (WMG) hat am Mittwoch bestätigt, dass es Sureel AI, ein Startup für KI-gestützte Attribution, übernimmt. Die proprietäre Technologie von Sureel generiert „AI-DNA“ für Musikstücke, indem sie diese in ihre Bestandteile zerlegt, um na
Microsoft, Azure und KI-Technologie bekämpfen die Risiken von Waldbränden in Kalifornien
Microsoft investiert in die KI-gestützte Erkennung von Waldbränden. Juan Lavista Ferres, CVP und Chief Data Scientist, erörtert Strategien zur Eindämmung von Umweltschäden.Laut der NASA betrifft der K
Sound design is the unsung hero of filmmaking! This tool allowing us to sketch audio with simple vocalizations is a game-changer. It lowers the barrier for indie creators who might not have a huge sound library 🎙️. But I do wonder, as these models get better, will we start losing the art of foley and the unique 'imperfect' textures created by real-world objects?





Heim






