Wie hilfreich ist die Verwendung von LoRA‘s in Stable Diffusion um gezielten einen Bildstil zu erzeugen?
Werkzeuge
Adobe Illustrator Stable Diffusion + ControlNet
Prozess
01 Typedesign der Nummern in Illustrator
02 Aufbereiten aller Input Glyphen als Kacheln für CNet
03 Upload in Stable Diffusion und einrichten von ControlNet
04 Recherche, Download und Testing geeigneter LoRAs
05 Promptdesign & Testing
06 Generation
07 Export & Upscale
Prompt & Settings
Prompt 1: product design of the (number 6:1.2), finely detailed, purism, ue 5, a computer rendering, minimalism, octane render, 4k, (white:1.1) orange colors, plain orange background, high contrast Prompt 2: poster, (acid poster:1.2) (heavy font title:1.2), blackletter, vector, sharp, texts, logos, glyphs, (white orange colors:1.4), (high contast:1.2) Prompt 3: ink sketch, (monochrome:1.2) and orange colors, japanese calligraphy, samurai, bonsai (abstract ink splash:1.3), (high contrast:1.1), (white background:1.1)
Learnings
Mithilfe von LoRA Modellen wurden jeweils verschiedene Stile erzielt. Als Input wurden drei unterschiedliche Glyphen gewählt um die Konsistenz innerhalb eines Stils auch bei unterschiedlichen Formen zu zeigen. Gut erstellte LoRAs sind eine große Unterstützung, um einen gewissen Look zu erzielen. Gepaart mit dem geeigneten Checkpoint Modell geben sie dem Prompt quasi „Superpowers“ und grenzen den Look stark ein. Je nach gewünschtem Stil muss man sich online auf die Suche nach einem geeigneten LoRA machen, oder alternativ ein eigenes mit 20-40 Bildern trainieren. Dies schränkt in der Effektivität ein, da viel Zeit für Recherche oder Training investiert werden muss. Der Vorteil ist jedoch, dass man mit relativ wenigen Bildern ein LoRA selbst erstellen kann. Somit lassen sich auch Stile nach ganz individuellen Präferenzen trainieren, vorrausgesetzt man hat hochwertiges Trainingsmaterial.
