Wie konsistent kann ich eine analoge Animation stilisieren?
Werkzeuge
Müsli + Schüssel Smartphone Adobe After Effects Stable Diffusion (i2i) + ControlNet Temporalkit EbSynth
Prozess
01 Erstellen der Animation: Einfüllen von Flüssigkeit in die Schale mit Müsli-Buchstaben
02 Video in After Effects als Bildsequenz exportieren
03 Upload in Stable Diffusion TemporalKit Extension
04 Promptdesign & Testing
05 Export
06 Postprocessing Styletransfer in EbSynth
Prompt & Settings
storm on jupiter, amazing (abstract fluid art:1.2), intricate, (contrast:1.2), (blue and orange colors:1.4), liquid shapes, high contrast <lora:acid_fluid_lora:1.0> Negative prompt: blurred, 3d render, photo, (bad quality), (low quality), lowres, ugly, watermark, qr code, cropped, cut of, childish, messy, sketch, amateur, low-res, deformed, mangled, disproportional, text, signature Steps: 20, Sampler: Euler a, CFG scale: 6, Seed: 42, Size: 512x512, Model hash: 9aba26abdf, Model: deliberate_v2, Denoising strength: 0.3, ControlNet 0: „preprocessor: canny, model: controlnet11Models_canny [b18e0966], weight: 0.6, starting/ending: (0, 1), resize mode: Crop and Resize, pixel perfect: False, control mode: Balanced, preprocessor params: (512, 100, 200)“, ControlNet 1: „preprocessor: depth_midas, model: controlnet11Models_depth [4b72d323], weight: 0.4, starting/ending: (0, 1), resize mode: Crop and Resize, pixel perfect: False, control mode: Balanced, preprocessor params: (221, 64, 64)“, Lora hashes: „acid_fluid_lora: 82c4dcb8a1c2“, Version: v1.3.2
Learnings
Temporalkit erzeugt in Verbindung mit EbSynth vergleichsweise konsistente und flickerfreie Bilder. Der Workflow ist jedoch in einige komplexe Schritte aufgeteilt und anfällig für Fehler. Längere Videos müssen für EbSynth in meherere Abschnitte aufgeteilt werden, um zu funktionieren und zwischen den Abschnitten können leichte Sprünge entstehen, deren Entstehung ich in den Tests weder nachvollziehen oder beseitigen konnte. Die Stärken dieses Workflows sind sicherlich sehr von den Motiven, der Stärke des Flackerns und der Geschwindigkeit der Bewegungen im Videomaterial abhängig. Auf dem Gebiet der Darstellung menschlicher Körper und Gesichter sind im Internet sehr gute Ergebnisse zu finden. Inwiefern die Techniken auf Animationen von Typographie oder Grafikdesign zu übertragen sind, müsste durch intensiveres Testen herrausgefunden werden.
