Vom Prompt zum finalen Video: professionelle AI-Videos erstellen

Ein Klick und das Video ist fertig. So wird sich die Generierung von AI-Videos oft vorgestellt. In der Praxis ist der Prozess jedoch deutlich komplexer. In diesem Artikel geben wir einen Blick hinter die Kulissen und zeigen, welche Arbeitsschritte notwendig sind, um ein professionelles AI-generiertes Video zu realisieren.

Als Beispiel dient unsere neue Logo-Animation auf der Startseite unserer Webseite. Die Idee: Das Logo wird dreidimensional dargestellt. Während es sich dreht, nimmt es unterschiedliche Materialien an und morpht somit in einer fließenden Bewegung von einem Material zum Nächsten.

Arbeitsprozess

Konzept

Wie bei jedem Kreativprozess steht auch bei der AI-Generierung das Konzept an erster Stelle. Bereits vor der Generierung sollte deshalb klar definiert werden, wie das Video aufgebaut ist und wie die Übergänge aussehen sollen. Da AI-Videos in „Firefly“ aktuell auf eine Länge von 4–8 Sekunden begrenzt sind, muss bei längeren Videos im Vorfeld geplant werden, an welchen Stellen Schnitte gesetzt werden. So lassen sich mehrere kurze Sequenzen nahtlos aneinanderreihen und das Ergebnis gezielt steuern.

Bildgenerierung

„Firefly“ bietet bei der Videogenerierung die Option, einen Start- und Endframe festzulegen, was eine präzise Kontrolle über das Ergebnis ermöglicht. Aus diesem Grund werden zunächst diese beiden Frames für den ersten Videoabschnitt mithilfe des Text-zu-Bild-Generators „Firefly Image 3“ generiert.

Dabei kann sowohl eine Stil- als auch eine Kompositionsreferenz angeben werden. Für die Kompositionsreferenz verwenden wir unser Logo im 3D-Look. Dieses erstellten wir zuvor in „Illustrator“, da das Programm Vektorgrafiken dreidimensional darstellen kann. Als Stilreferenz eignet sich ein Bild, das das gewünschte Material des Logos zeigt. In diesem Fall soll das Logo aus Brokkoliröschen bestehen. Dieses Bild kann entweder aus vorhandenem Bildmaterial stammen oder ebenfalls mit AI generiert werden.

Anschließend wird ein Prompt verfasst. Dieser sollte eine kurze, prägnante Beschreibung des gewünschten Bildes und idealerweise auf Englisch formuliert sein. Wichtig ist eine klare Beschreibung des Motivs, des Materials, des Hintergrunds und des Stils. Optional kann auch die Kameraperspektive, Lichtsetzung und Stimmung angegeben werden.

Nun können die Bilder generiert werden. Hier gilt: Trial and Error. Oft sind mehrere Anläufe nötig, bis ein überzeugendes Ergebnis erzielt wird. Dazu werden die Prompts schrittweise präzisiert und angepasst. Dabei kann auch ChatGPT zur Unterstützung beim Formulieren und Optimieren der Prompts eingesetzt werden.

Prompt: „The lettering completely covered in tiny broccoli florets, floating in mid-air, 10 broccoli buds suspended around, soft diffused lighting, clean minimalist style. Floating on white background.“

Bildbearbeitung

Es kann vorkommen, dass trotz unzähliger Versuche manche Details in den Bildern nicht perfekt umgesetzt werden. Das liegt daran, dass sich AI nicht vollständig steuern lässt. So können beispielsweise keine direkten Werte vorgegeben werden, etwa ein leerer Hintergrund, präzise Schatten oder exakte Farbwerte.

Dennoch ist es wichtig, dass die Bilder für Start- und Endframe optimal sind, da sie uns die beste Kontrolle über die Videogenerierung ermöglichen. Daher ist eine Bildbearbeitung mittels „Photoshop“ sinnvoll. Hier können Größe, Position und Farbwerte des Bildes angepasst, Störendes weggeschnitten und Details wie Schatten und Spiegelung hinzufügt werden.

Videogenerierung

Jetzt sind wir bereit für die Videogenerierung! Wir benutzen dafür den Bild-zu-Video-Generator „Firefly Video“.

Die Vorgehensweise ähnelt der Bildgenerierung: Als Referenz dienen die zuvor bearbeiteten Start- und Endframes. Der Prompt sollte genau beschreiben, wie sich das Logo bewegt und wie der Übergang von einem Material zum Nächsten verläuft. Zusätzlich können Informationen zur Bewegungsrichtung, zum Timing und zur gewünschten Atmosphäre nützlich sein. Und auch hier sind wahrscheinlich einige Versuche notwendig bis das Ergebnis überzeugt.

Prompt: „The broccoli logo first gradually changes its material to shiny silver metal while retaining its broccoli shape. Then it smoothly morphs its form into the smoothly simple shaped silver metallic logo. Fluid, elastic, slightly chaotic motion, seamless material and shape transformation, realistic reflections, soft studio lighting, static camera, clean background.“

Videobearbeitung, Schnitt und Export

Nachdem alle Teilvideos für unsere Idee generiert wurden, müssen auch hier, ähnlich wie bei der Bildgenerierung, noch Nachbesserungen vorgenommen werden. Dafür eignet sich z. B. die Videobearbeitungs- und Animationssoftware „After Effects“.

Zunächst werden Farbkorrekturen an den Videos durchgeführt. Da in unserem Fall die Hintergrundfarbe teilweise unerwünscht wechselt und einzelne Elemente aus dem Frame ragen, werden die Teilvideos mithilfe von Masken, „Keying“ oder dem „Roto Brush“-Tool freigestellt.

Im Anschluss werden die Videos im Schnitt aneinandergereiht. Nahtlose Übergänge entstehen durch gezielten Schnitt und Morphing-Effekte, während die Geschwindigkeit der Teilvideos durch den Effekt „Zeitzerrung“ im „Graph Editor“ angepasst wird.

Abschließend wird das fertige Video mittels „Media Encoder“ exportiert und gerendert, um es in der gewünschten Auflösung und im passenden Format bereitzustellen.

Aus dem Arbeitsprozess wird ersichtlich: Die Videogenerierung stellt nur einen kleinen Teil des Workflows dar. AI kann ein hilfreiches Tool im Kreativprozess sein, um Ideen schnell zu visualisieren und ist besonders gut in der Kombination von verschiedenen Motiven, doch es ersetzt nicht die komplette gestalterische Arbeit. Grenzen in der Steuerbarkeit, fehlende Präzision bei Details und die geringe Konsistenz zwischen einzelnen Generierungen erfordern weiterhin die Kontrolle, Iterationen und manuelle Nachbesserungen durch Designer*innen, um ein professionelles Ergebnis zu erzielen.