Werkzeuge
Glyphs 3 TDBR VarFont Animator Stable Diffusion + ControlNet After Effects Flowframes
Prozess
01 Anlegen des Variable Fonts mit zwei Master States
02 Export als .ttf
03 Animation mit dem TDBR VarFont Animator
04 Export als Bildsequenz
05 Upload Beispielframe in SD
06Promptdesign
07 Batch Processing: Generierung aller Frames anhand der gleichen Settings, des gleichen Prompts und der entsprechenden ControlNet Vorlage
08Kombinieren der generierten Sequenz in After Effects
09 Interpolation von Zwischenframes mit Flowframes um Bildflackern zu reduzieren
Prompt & Settings
sculpture of (orange clay:1.2), ultra detailed, high detail, pottery, (sandstone and clay texture:1.1), (bright scene:1.1), octane render, studio lighting, (orange and white pastel colors:1.2) Negative prompt: (bad quality), (low quality), lowres, ugly, (watermark:1.1), qr code, cropped, cut of, childish, messy, sketch, amateur, low-res, deformed, mangled, disproportional, (text:1.1), signature Steps: 18, Sampler: Euler a, CFG scale: 6.5, Seed: 2190653798, Size: 512x512, Model hash: 631eea1a0e, Model: xsarchitectural_v11, Clip skip: 2, ControlNet 0: „preprocessor: none, model: controlnet11Models_depth [4b72d323], weight: 1, starting/ending: (0, 1), resize mode: Crop and Resize, pixel perfect: False, control mode: Balanced, preprocessor params: (1024, 0, 0)“
Learnings
Um im text2img Modus präzise Ergebnisse der Glyphenform zu erhalten, hat sich gezeigt, dass eine individuelle Depthmask bessere Ergebnisse liefert, als das Ergebnis des Depth Preprocessors. Eine Animation mit Stabel Diffusion zu stilisieren ist grundsätzlich dank der Stapelverarbeitungen gut möglich. Durch das Nutzen der „Loopback“ Funktion, kann man das zuletzt generierte Bild als Referenzbild für das Folgende verwenden. So erhält man zwar keine perfekt konsistenten Ergebnisse, jedoch deutlich weniger Sprünge im Stil als ohne Loopback. Das größte Problem entsteht durch kurz aufeinanderfolgende Frames, die in der Belichtung, Komposition oder Farbigkeit merklich unterschiedlich sind. Durch die hohe Framezahl eines Videos entsteht so ein deutliches Bildflimmern. Um dem Bildflimmern entgegenzuwirken, wurden die durch das KI-gestützte Programm Flowframes Zwischenframes interpoliert. Zusätzlich kann dann in einem Schnittprogramm die Videoebene dupliziert, auf halbe Deckkraft gesetzt und einen Frame verschoben werden. Somit erzeugt man zwar sogennantes „Ghosting“, jedoch ist das für vermindertes Flickern gut in Kauf zu nehmen.