Jak fungují generativní AI modely pro obrázky: jednoduše o difuzi, latentních prostorech a textových enkodérech

Q: Dlouhý prompt je částečně ignorován

Limit tokenů CLIP u SD 1.5 a SDXL. Dej důležitá slova na začátek, nebo přejdi na Flux, Qwen nebo Z-Image s LLM enkodérem.

Q: Nedostatek paměti jen na úplném konci

Krok dekódování VAE v plné velikosti. Použij dlaždicové dekódování VAE, nebo menší výstupní velikost následovanou zvětšovačem.

Téma: Modely

Autor: Quartermaster

Publikováno 28. Srp 2025

Přehled

Každý současný model pro obrázky je odšumovač. Během tréninku mu ukazují miliony obrázků s postupně přidávaným náhodným šumem spolu s popiskem každého obrázku a model se učí předpovídat, jaký šum byl přidán. Při generování se proces obrací: začíná se s čistým šumem, model se ptá, jaký šum tam je vzhledem k tvému promptu, trochu ho odstraní, opakuje to dvacet až třicetkrát a vznikne obrázek odpovídající popisku. To je celý trik; „difuze“ je název pro tento postup postupného přidávání a odstraňování šumu.

Práce s plnými pixely by byla příliš pomalá, takže od Stable Diffusion 1.x se odšumování děje v komprimovaném prostoru zvaném latentní prostor. Samostatná malá síť, VAE, stlačí obrázek 1024x1024 do mřížky 128x128 čísel a na konci ho zase rozbalí. Odšumovač (U-Net v SD 1.5 a SDXL, transformer ve Flux, Qwen, Z-Image a video modelech) nikdy nevidí pixely. Proto musí být velikosti obrázků násobky 8 nebo 16 a proč krok dekódování VAE na konci může sám vyčerpat paměť.

Prompt jde přes textový enkodér, který převede slova na seznam čísel, podle kterých se odšumovač řídí. SD 1.5 používá jeden CLIP enkodér s limitem 77 tokenů, SDXL používá dva, Flux přidává velký jazykový model T5 a modely z let 2025 a 2026 (Qwen Image, FLUX.2, Z-Image, Wan 2.2) používají plné LLM jako enkodéry. Tahle jediná změna vysvětluje většinu rozdílů v tom, jak se píšou prompty: seznamy tagů pro modely založené na CLIP, přirozené věty pro ty s LLM. LoRA je nakonec malá sada oprav vah odšumovače (a někdy i enkodéru), která ovlivňuje, co model kreslí; nepřidává novou znalost z ničeho, jen přehodnocuje, co už základní model umí.

Reference

Název	Typ	Co to je
Odšumovač (U-Net / DiT)	component	Hlavní síť. Předpovídá šum v latentním prostoru podle promptu a kroku. U-Net v SD 1.5 a SDXL; difuzní transformer (DiT / MMDiT) ve Flux, FLUX.2, Qwen, Z-Image, Wan, LTX, H3.
VAE	component	Komprimuje obrázky do latentů a zpět. Špatný nebo chybějící VAE dává vybledlé nebo fialové obrázky. Flux a novější rodiny mají vlastní 16kanálové VAE.
Textový enkodér	component	CLIP-L, CLIP-G, T5-XXL nebo LLM (Qwen2.5-VL, Mistral, Gemma). Určuje, jak se prompt chápe a jak dlouhý může být.
Plánovač / sampler	setting	Plán, kolik šumu se má odstranit v každém kroku a použitá numerická metoda. Mění texturu a rychlost konvergence, ne obsah.
Kroky	setting	Kolik iterací odšumování. Destilované modely (Turbo, Lightning, Schnell, Klein) jsou trénované na 1 až 8 kroků.
CFG / vedení	setting	Classifier-free guidance: jak moc se předpověď podle promptu odklání od nepodmíněné. Příliš vysoké hodnoty spálí barvy; guidance-distilované modely (Flux dev) používají jednu hodnotu vedení.
Velikost latentního prostoru	setting	Velikost obrázku dělená 8 (SD) nebo 16 (Flux, Wan). Modely kreslí nejlépe blízko rozlišení, na kterém byly trénované.
Flow matching	training method	Náhrada klasických plánů šumu pro difuzi od roku 2024+ (Flux, SD3, Wan, Z-Image). Stejný princip, přímější cesta od šumu k obrázku, potřebuje méně kroků.

Krok za krokem

Šum dovnitř: sampler vytvoří latentní mřížku náhodných čísel ze seed hodnoty. Změna seedu změní všechno dál.
Prompt dovnitř: textový enkodér převede tvá slova na embeddingy. U CLIP modelů se přes 77 tokenů rozdělí nebo zahodí; u LLM modelů je v pohodě i odstavec.
Každý krok: odšumovač se spustí dvakrát u SD a SDXL (s promptem a bez něj); rozdíl, vynásobený CFG, posune latent směrem k promptu. Flux dev běží jednou s vestavěnou hodnotou vedení.
Sampler odečte předpovězený šum podle plánu (Karras, exponenciální, jednoduchý, beta). Po posledním kroku je latent čistý obrázek v komprimované podobě.
Dekódování: VAE rozbalí latent zpět na pixely. Existuje dlaždicové dekódování VAE, protože tenhle krok může sám překročit paměť 8GB karty u velkých rozměrů.
Volitelné druhé průchody: hires-fix přidá trochu šumu a odšumuje ve větší velikosti; img2img začíná z existujícího obrázku místo čistého šumu; inpainting omezuje změnu na masku.
Video modely přidávají časovou osu do latentního prostoru (5sekundový klip je jeden 3D latent) a jinak je to stejný cyklus, proto potřebují desetkrát víc paměti.

Příklady

Stejný prompt přes tři architektury

SD 1.5 (CLIP, 77 tokens): "portrait of an old sailor, grey beard, wool cap, harbour background, film photo"

SDXL (two CLIPs): same words, 1024x1024, CFG 6, 28 steps

Flux dev (CLIP-L + T5): "A weathered old sailor with a grey beard and a navy wool cap stands at a harbour railing at dusk; shallow depth of field, Kodak Portra look." guidance 3.5, 24 steps

Uzly ComfyUI namapované na komponenty

Load Checkpoint -> MODEL (denoiser), CLIP (text encoder), VAE

CLIP Text Encode (prompt) -> KSampler (sampler, steps, CFG, seed) -> VAE Decode -> Save Image

Tipy

Model nemůže nakreslit něco, co nebylo v jeho tréninkových datech. Proto anime fine-tuny znají tisíce postav a foto modely ne, a proč existuje LoRA skoro na každou mezeru.
Fine-tuny (DreamShaper, Juggernaut, Illustrious, Pony) mají stejnou architekturu jako základní model s jinými váhami; LoRA pro základ obvykle funguje i na fine-tunu, LoRA pro hodně odlišný fine-tun (Pony) často ne.
Destilované modely obětují flexibilitu pro rychlost. SDXL Lightning na 4 krocích je dobrý na náčrty; plný model na 28 krocích je lepší na finální obrázky.
Textový enkodér je často největší soubor. Flux s T5-XXL fp16 potřebuje 9 GB jen na enkodér, proto existují verze fp8 a GGUF.
Guidance distillation (Flux dev) a CFG nejsou to samé. Použití CFG 7 na Flux dev dává spálené obrázky; použij nastavení na stránce modelu.
Vše tady běží na cloudových partnerech stejně jako lokálně; rozdíl je jen v tom, kdo vlastní GPU.

Použij dlaždicové dekódování VAE, nebo menší výstupní velikost následovanou zvětšovačem.

Otázky

Kopíruje model obrázky ze svého tréninku?

Ukládá váhy, ne obrázky, a nemůže vyvolat tréninkový obrázek. Mohou se objevit téměř duplikáty velmi častých tréninkových obrázků (slavné obrazy, loga), což je důvod, proč je lepší je nepřipomínat v promptu.

Proč nové modely potřebují víc paměti, když je princip stejný?

Větší odšumovače (12 miliard parametrů u Flux proti 0.9 u SD 1.5), větší textové enkodéry a větší latentní prostory. Kvantované verze fp8 a GGUF je zase zmenšují.

Jaký je rozdíl mezi checkpointem a modelem?

Checkpoint je uložený soubor modelu (odšumovač, často s enkodérem a VAE). Lidé tyto pojmy používají zaměnitelně.

Proč stejný seed dává jiný obrázek na jiném PC?

Jiná GPU, přesnost (fp16 vs bf16) nebo implementace sampleru; šum je stejný, ale aritmetika se mírně liší. Na stejném stroji, se stejnými nastaveními, je obrázek stejný.

Pomáhá víc kroků vždycky?

Ne. Většina samplerů konverguje do 25 až 30 kroků; víc už je zbytečné. Destilované modely se při více krocích zhoršují.

Odkazy a zdroje

Modely v tomto návodu

Modely Stable Diffusion 1.5

Modely Stable Diffusion XL 1.0

Napsal

Spravuje zásoby: každý LoRA, každý kvant, každý soubor, který někdo přejmenoval na final_v2_REAL.safetensors. Měří hardware podle toho, kolik Wan renderů se vejde před večeří. Řekne ti číslo VRAM, pak ti řekne, že je špatné, protože máš otevřený Chrome. Otevřené váhy, nebo to nevyplulo.

Všechny průvodce od Quartermaster

Začínáme s generováním AI obrázků: tvůj první obrázek za deset minut

14. Srp 2025

Kroky, CFG, samplery, plánovače a semena: vysvětlení nastavení generování s bezpečnými výchozími hodnotami

19. Lis 2025

Checkpoint vs LoRA vs embedding vs ControlNet: co který soubor dělá

8. Říj 2025

Flux vs SDXL vs SD 1.5 vs Qwen vs Z-Image: kterou rodinu modelů používat v roce 2026

22. Kvě 2026

Další návody

Požadavky na VRAM pro všechny populární AI modely pro obrázky a video (2026): plná přesnost, FP8 a GGUF

6. Říj 2026

CUDA nedostatek paměti: kolik VRAM potřebuje každý AI model a jak to zvládnout

18. Kvě 2026

Alternativy k Civitai: kde najít a stáhnout AI modely v roce 2026

16. Zář 2026

AMD Amuse v roce 2026: co se stalo a má smysl ho ještě používat?

9. Říj 2026

Co je to LoRA a jak ji používat v ComfyUI, Forge, Automatic1111 a v cloudu

20. Kvě 2026