Learnings

Um schnell zu vergleichsweise durchschaubaren Ergebnissen zu kommen, ist das Tool Runway ML „Gen-1 video to video“ sehr gut geeignet. Das Interface ist intuitiv zu verstehen und nicht mit Funktionen überladen. Man kann aus einem Referenzbild, vorgegebenen Presets und einem eigenen Textprompt wählen um das hochgeladene Video stilisieren zu lassen. Durch Schieberegler lassen sich ein paar Settings verändern, die bestimmen wie stark das Ausgangsmaterial verändert werden soll. Sinnvoll ist im Bezug auf Typografie Animationen, besonders die Funktion „Style: Structural Consistency“, mit der die Komposition und Buchstabenformen nach Wunsch mehr oder weniger stark erhalten werden. Eigene Referenzbilder zu nutzen ist ein schneller und einfacher Weg einen gewünschten Look einzugrenzen. Hier scheint jedoch mehr das Farbschema als der Bildinhalt analysiert zu werden. Die Presets erzeugen teils interessante Bildstile bieten, aber sonst keine weitere Kontrollmöglichkeit und sind eher explorativ zu nutzen. Einen eigenen Prompt zu schreiben hat in den Tests halbwegs funktioniert, aber die Ergebnisse waren schlechter aufgelöst und unschärfer als die, in denen ein Referenzbild die Grundlage war. Hier gilt es noch durch Promptengineering herrauszufinden, welche Struktur und Keywords gut funktionieren und zu gewünschten Ergebnisse führen. Auch wenn die Generationszeit wie auch die Nutzerfreundlichkeit große Vorteile gegenüber Stabel Diffusion bieten, ist hier der Preis ein Nachteil. Während Stable Diffusion mit einer guten Grafikkarte kostenlos auf dem eigenen PC genutzt werden kann, muss man für Runway ML zahlen. Für 15$ bekommt man, zur Zeit meines Tests, 70 Sekunden Gen-1 video to video Credits. Für eine generierte Sekunde zahlt man also knapp 20 Cent. Dies kann bei umfangreichem Testing und längeren Videos schnell zu beachtlichen Kosten führen.