Heim
ByteDance veröffentlicht das Bernini-Framework für die einheitliche Videogenerierung und -bearbeitung als Open Source
Das Team für Kommerzialisierungstechnologie bei ByteDance hat offiziell ein Open-Source-Framework zur Videogenerierung und -bearbeitung namens Bernini veröffentlicht. Im Kern basiert das Framework auf einem kollaborativen Mechanismus nach dem Prinzip „zuerst verstehen, dann generieren“, der darauf ausgelegt ist, gängige Herausforderungen der Branche wie Bildinstabilität und Bildflackern zu bewältigen, die dadurch entstehen, dass herkömmliche Modelle komplexe Anweisungen nicht genau interpretieren können.
In internen Evaluierungen bei ByteDance hat Bernini erstklassige Ergebnisse erzielt. Sein Inferenzcode und das Modell der zweiten Stufe, Bernini-R, sind nun öffentlich verfügbar, wobei die Vollversion in naher Zukunft vollständig als Open-Source-Software veröffentlicht werden soll.

Entkopplung von Semantik und Rendering
Der Workflow von Bernini führt eine neuartige Trennung zwischen „semantischer Planung“ und „visueller Darstellung“ ein. Der Prozess beginnt mit einem multimodalen, groß angelegten Modellplaner, der das Eingabematerial gründlich analysiert, um eine „semantische Skizze“ zu erstellen, die dann vom Renderer in stabile, kohärente Videobilder übersetzt wird.
Diese klare Aufgabenteilung macht das Framework besonders nützlich für kontrollierbare Bearbeitungen. Nutzer können Szenenattribute wie Wetter, Jahreszeit oder visuellen Stil durch einfache Befehle anpassen und erhalten zudem präzise Kontrolle über Kamerawinkel, Fokus und Bewegungen der Motive.
Umfangreiche visuelle Referenzfunktionen
Über die traditionelle textbasierte Steuerung hinaus unterstützt Bernini die Verwendung von Bildern und Videos als visuelle Referenzen, was die kreative Konsistenz erheblich verbessert. Bei der Videobearbeitung kann es bestimmte Materialien oder Plakate präzise in Zielbereiche platzieren, ohne dass dabei Ränder oder perspektivische Verzerrungen entstehen.
Zur Erzeugung neuer Videos verarbeitet das Modell Referenzeingaben aus Einzelbildern und mehreren Blickwinkeln und kann Keyframes zu kontinuierlichen Sequenzen weiterentwickeln. Um Verwirrung beim Verbinden mehrerer visueller Segmente zu vermeiden, führte das Team einen speziellen Positionskodierungsmechanismus ein, der Referenzmaterialien klar von Ausgabezielen unterscheidet.
Projektseite: https://bernini-ai.github.io/
Verwandter Artikel
DeepMind-CEO Hassabis: Ich schlafe sechs Stunden pro Tag und fühle mich normalerweise gegen 1 Uhr nachts energiegeladen.
Fortune hat kürzlich ein Interview mit Demis Hassabis, dem CEO von Google DeepMind, veröffentlicht, das seinen unkonventionellen Ansatz zu Erholung und Produktivität offenbart. Hassabis gab bekannt, dass er sehr wenig schläft und seine wachen Stunden
OpenAI und Anthropic kämpfen trotz Umsatzrückgängen um Marktanteile
Obwohl jüngste Berichte darauf hindeuten, dass OpenAI seine Umsatzziele verfehlt hat, was an diesem Dienstag Druck auf die Technologieaktien ausübte, zeigen sich private Investoren in KI-Labore weiter
Einhaltung der Vorschriften für autonome Fahrzeuge in Kalifornien: Eine neue Ära von Bußgeldern, Geofences und 1 Million Meilen
Guident betreibt einen AuveTech-Shuttle in Südflorida und verwaltet mithilfe seiner Fernüberwachungstechnologie eine vier Meilen lange Strecke in West Palm Beach sowie eine eine Meile lange Strecke in
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)
Das Team für Kommerzialisierungstechnologie bei ByteDance hat offiziell ein Open-Source-Framework zur Videogenerierung und -bearbeitung namens Bernini veröffentlicht. Im Kern basiert das Framework auf einem kollaborativen Mechanismus nach dem Prinzip „zuerst verstehen, dann generieren“, der darauf ausgelegt ist, gängige Herausforderungen der Branche wie Bildinstabilität und Bildflackern zu bewältigen, die dadurch entstehen, dass herkömmliche Modelle komplexe Anweisungen nicht genau interpretieren können.
In internen Evaluierungen bei ByteDance hat Bernini erstklassige Ergebnisse erzielt. Sein Inferenzcode und das Modell der zweiten Stufe, Bernini-R, sind nun öffentlich verfügbar, wobei die Vollversion in naher Zukunft vollständig als Open-Source-Software veröffentlicht werden soll.

Entkopplung von Semantik und Rendering
Der Workflow von Bernini führt eine neuartige Trennung zwischen „semantischer Planung“ und „visueller Darstellung“ ein. Der Prozess beginnt mit einem multimodalen, groß angelegten Modellplaner, der das Eingabematerial gründlich analysiert, um eine „semantische Skizze“ zu erstellen, die dann vom Renderer in stabile, kohärente Videobilder übersetzt wird.
Diese klare Aufgabenteilung macht das Framework besonders nützlich für kontrollierbare Bearbeitungen. Nutzer können Szenenattribute wie Wetter, Jahreszeit oder visuellen Stil durch einfache Befehle anpassen und erhalten zudem präzise Kontrolle über Kamerawinkel, Fokus und Bewegungen der Motive.
Umfangreiche visuelle Referenzfunktionen
Über die traditionelle textbasierte Steuerung hinaus unterstützt Bernini die Verwendung von Bildern und Videos als visuelle Referenzen, was die kreative Konsistenz erheblich verbessert. Bei der Videobearbeitung kann es bestimmte Materialien oder Plakate präzise in Zielbereiche platzieren, ohne dass dabei Ränder oder perspektivische Verzerrungen entstehen.
Zur Erzeugung neuer Videos verarbeitet das Modell Referenzeingaben aus Einzelbildern und mehreren Blickwinkeln und kann Keyframes zu kontinuierlichen Sequenzen weiterentwickeln. Um Verwirrung beim Verbinden mehrerer visueller Segmente zu vermeiden, führte das Team einen speziellen Positionskodierungsmechanismus ein, der Referenzmaterialien klar von Ausgabezielen unterscheidet.
Projektseite: https://bernini-ai.github.io/
DeepMind-CEO Hassabis: Ich schlafe sechs Stunden pro Tag und fühle mich normalerweise gegen 1 Uhr nachts energiegeladen.
Fortune hat kürzlich ein Interview mit Demis Hassabis, dem CEO von Google DeepMind, veröffentlicht, das seinen unkonventionellen Ansatz zu Erholung und Produktivität offenbart. Hassabis gab bekannt, dass er sehr wenig schläft und seine wachen Stunden
OpenAI und Anthropic kämpfen trotz Umsatzrückgängen um Marktanteile
Obwohl jüngste Berichte darauf hindeuten, dass OpenAI seine Umsatzziele verfehlt hat, was an diesem Dienstag Druck auf die Technologieaktien ausübte, zeigen sich private Investoren in KI-Labore weiter











