Kann ich in Stable Diffusion per Stapelverarbeitung eine konsistente Animation rendern lassen?
Werkzeuge
Stable Diffusion (i2i) + ControlNet After Effects
Prozess
01 Erstellen der Animation in After Effects
02 Export der Frames im gewünschten Farbschema inkl. entsprechender Maske
03 Promptdesign anhand Beispielframe in SD
04 Batch-Processing für Videoframes und Maskenframes
05 Zusammenfügen der generierten frames in After Effects
Prompt & Settings
(green cells:1.1), molecular, (microscopic:1.2), (ultra detailed:1.1), fractal pattern, microbiology, stem cells, microscopic photography Negative: 3D render, (bad quality), (low quality), lowres, ugly, (watermark:1.1), qr code, cropped, cut of, childish, messy, sketch, amateur, low-res, deformed, mangled, disproportional, (text:1.2), signature
Learnings
Die Stable Diffusion Stapelverarbeitung inklusive Maskierungsoption ermöglicht es als Bildsequenzen exportierte Videos halbwegs automatisiert zu stilisieren. Im Gegensatz zur Verarbeitung ohne Maske wird hier die maskierte Form garantiert erhalten. So hat man die volle Kontrolle über den Bereich, der verändert werden soll. Das ist besonders bei der Arbeit mit Buchstaben sinnvoll, da man das Verlaufen der Formen verhindert. Auch dünne Stege, feine Serifen und Punzen werden so immer korrekt erhalten. Die Verfremdung des Ausgangsmaterials wird nun deutlich gezielter vorgenommen.
