Learnings

Einen Monochromen Input in Stabel Diffusion verfremden zu lassen, gestaltet sich nicht so einfach wie gedacht. Da keinerlei Farbschema vorhanden ist, welches auf dem Stable Diffusion aufbauen kann, wirkt die Verteilung der Farben häufig sehr willkürlich. Die Farben im Prompt möglichst genau zu definieren, funktioniert leider nicht richtig, da man schwer referenzieren kann, welches Objekt nun welche Farbe erhalten soll. Außerdem versteht das System keine RGB oder hex Farbwerte, womit sich die Farbwahl hauptsächlich auf die Standardfarben beschränkt. Möchte man hier mehr Kontrolle erhalten, empfiehlt es sich den Input schon im gewünschten Farbschema aufzubereiten. Die Farben werden zwar auch dann nicht farbgetreu übernommen, aber die Aufteilung funktioniert. Zusätzlich zum Referenzbild braucht man ControlNet, um die Form der Animation genau zu erfassen. In den Test hat sich hier eine Mischung aus dem Canny und Depth Model bewärt, sowie ein Style-Übertragung mit einem t21a Style Adapter des jeweils zuletzt generierten Frames, um die Konsistenz zwischen den Frames möglich hoch zu halten. Ein hohes Denoising erzeugt die stärkste und interessanteste Stilisierung des Bildes, jedoch verliert man so zwischen den generierten Frames an Konsistenz und Farbechtheit im Vergleich zur Vorlage. Es gilt einen Kompromiss aus Stilisierung, Konsistenz und Flimmerfreiheit zwischen Frames treffen.