ControlNet explicat: poziție, adâncime, margini și imagini de referință pentru SD 1.5, SDXL și Flux
Prezentare generală
Un prompt spune ce să deseneze; ControlNet spune unde. Este o rețea laterală, antrenată pe fiecare familie, care citește o imagine de control (o poziție cu schelet de bețe, o hartă de adâncime, un desen de margini, un schițaj, o hartă de segmentare) și direcționează denoiser-ul ca să se potrivească cu acea structură. Promptul decide în continuare subiectul, stilul și lumina; imaginea de control fixează compoziția. Așa obții aceeași poziție pentru zece personaje, transformi o randare 3D într-o fotografie sau păstrezi forma exactă a unui produs.
Sunt două pași care se întâmplă mereu. Mai întâi un preprocesor transformă fotografia ta sursă în imaginea de control (OpenPose desenează scheletul, MiDaS sau Depth Anything estimează adâncimea, Canny găsește marginile, Lineart trasează contururile). Apoi modelul ControlNet pentru familia ta folosește acea imagine în timpul generării. Să dai fotografia brută în loc de harta preprocesată e greșeala numărul unu pentru începători; a doua e să folosești un ControlNet SD 1.5 pe un checkpoint SDXL.
Flux și modelele din 2025 au schimbat tot peisajul: Black Forest Labs oferă Flux Depth și Flux Canny ca modele complete și LoRA-uri, Union ControlNets acoperă mai multe tipuri într-un singur fișier pentru SDXL și Flux, iar editorii de instrucțiuni (Qwen Image Edit, Kontext) fac multe treabă de „păstrează asta, schimbă aia” fără o imagine de control. Catalogul de pe acest site etichetează ControlNet-urile la „alte” cu familia lor; pagina modelului spune tipul de control.
Referință
Nume | Tip | Ce este |
|---|---|---|
OpenPose | control type | Puncte cheie pentru corp, mâini și față desenate ca un schelet de bețe. Transfer de poziție, coregrafie, personaje consistente. Slab la mâini dacă modelul pentru mâini nu e activat. |
Depth (MiDaS, Zoe, Depth Anything) | control type | Hartă de adâncime gri. Păstrează aranjamentul spațial și camera, dar permite schimbări totale de stil. Cel mai permisiv control pentru foto spre ilustrație. |
Canny / Lineart / SoftEdge (HED) | control type | Desene de margini. Canny e strict și ascuțit, Lineart pentru desene, SoftEdge e mai lejer. Forme de produse, arhitectură, logo-uri. |
Scribble | control type | Trasee grosiere pe care le desenezi tu devin compoziția. Intensitate mică (0.5-0.7) altfel rezultatul arată ca schițajul. |
Tile | control type | Ghidează un upscaling sau un pas de detaliu să rămână fidel inputului de rezoluție mică. Motorul din spatele majorității fluxurilor „ultimate upscale”. |
IP-Adapter / Redux / reference | image conditioning | Nu e ControlNet: condiționează stilul sau fața unei imagini, nu structura. Se combină cu ControlNet ca să ai ambele. |
Strength / weight | 0.4-1.0 | Cât de tare se aplică structura. 0.8 pentru poziție și adâncime, 0.5-0.7 pentru margini și schițaj. |
Start / end percent | 0.0-1.0 | Partea din denoising la care se aplică controlul. Să se termine la 0.6-0.8 lasă modelul să termine detaliile liber și elimină aspectul „trasat”. |
Family files | Fiecare familie are nevoie de propriul ControlNet; dimensiuni între 0.7-2.5 GB. Fișierele Union grupează mai multe tipuri. |
Pas cu pas
- Alege tipul de control pentru treaba ta: poziție pentru oameni, adâncime pentru scene și restilizare, Canny sau Lineart pentru forme clare, schițaj pentru idei, tile pentru upscaling.
- Încarcă imaginea sursă și rulează preprocesorul potrivit (ComfyUI: nodurile controlnet_aux; A1111: extensia ControlNet o face inline). Vezi imaginea de control; corecteaz-o dacă scheletul a ratat un membru.
- ComfyUI: Aplică ControlNet (Advanced) între CLIP Text Encode și KSampler, conectează imaginea de control și modelul ControlNet, intensitate 0.8, start 0, sfârșit 0.8.
- A1111 / Forge: activează unitatea ControlNet 0, alege preprocesorul și modelul de același tip, greutate 0.8, pasul de control final 0.8, pixel perfect activat.
- Scrie promptul pentru ce vrei să vezi, nu pentru poziție (poziția e gestionată). Generează patru seed-uri.
- Scade intensitatea sau procentul de final dacă imaginea arată trasată sau plată; crește-le dacă structura se abate. Adaugă o a doua unitate (poziție + adâncime) pentru compoziții încăpățânate.
- În cloud, PirateDiffusion aplică ControlNet când răspunzi la o imagine sursă cu /render și un flag de control; BitVector oferă poziție și adâncime în uneltele sale de imagine.
Exemple
Transfer de poziție în ComfyUI (SDXL)
Load Image (reference photo) -> DWPose Estimator (body + hands) -> Apply ControlNet Advanced (xinsir controlnet-union-sdxl, type openpose, strength 0.8, end 0.75) -> KSampler
Prompt: a knight in weathered plate armour standing on a cliff at dawn, cinematic, 35mm
Foto spre acuarelă cu adâncime (A1111 / Forge)
ControlNet unit 0: preprocessor depth_anything, model control_sdxl_depth, weight 0.7, end 0.7, pixel perfect
Prompt: loose watercolour illustration of a harbour town, paper texture, soft morning light
Flux Canny LoRA
Load Diffusion Model (flux1-dev-fp8) -> LoraLoaderModelOnly (flux1-canny-dev-lora, 0.85) -> InstructPixToPixConditioning (canny image) -> KSampler (guidance 30)
Sfaturi
- Adâncimea e mai bună decât Canny pentru foto spre ilustrație pentru că lasă textura liberă; Canny e mai bun pentru logo-uri și produse pentru că păstrează marginile exacte.
- Procentul de final e setarea pe care majoritatea oamenilor nu o ating niciodată și care repară aspectul plastic, trasat.
- Redimensionează imaginea de control la dimensiunea de generare cu același raport de aspect; formele nepotrivite taie scheletul.
- OpenPose dintr-o fotografie cu tine e cea mai rapidă cale să ai o bibliotecă de poziții consistente pentru un personaj.
- Pentru Flux, LoRA-urile Depth și Canny de la Black Forest Labs sunt mai ușoare decât modelele complete de control și suficiente pentru majoritatea treburilor.
- Editorii de instrucțiuni (Qwen Image Edit, Kontext) înlocuiesc adesea o trecere ControlNet pentru editări „aceeași scenă, subiect diferit”; vezi ghidul Qwen Image Edit.
Depanare
ControlNet nu face nimic
De ce se întâmplă
Nepotrivire de familie (ControlNet SD 1.5 pe SDXL), sau s-a folosit fotografia brută în loc de harta preprocesată.
Cum se repară
Potrivește familia; rulează preprocesorul și verifică ieșirea.
Rezultatul arată trasat și plat
De ce se întâmplă
Intensitate 1.0 cu procent de final 1.0.
Cum se repară
Intensitate 0.7, procent final 0.7; lasă modelul să termine singur.
Scheletul ratează mâinile sau un membru
De ce se întâmplă
Preprocesorul a detectat prost pe o fotografie aglomerată.
Cum se repară
Folosește DWPose cu mâinile activate, decupează sursa sau editează scheletul într-un nod editor OpenPose.
Memorie insuficientă cu două unități
De ce se întâmplă
Fiecare ControlNet poate avea până la 2.5 GB.
Cum se repară
ControlNet Flux dă zgomot
De ce se întâmplă
Cum se repară
Folosește nodul specificat pe pagina modelului și CFG 1 conform instrucțiunilor.
Întrebări
ControlNet e un LoRA?
Nu. E o rețea separată care citește o imagine; un LoRA schimbă greutățile modelului din text. Excepția Flux: Depth și Canny „LoRA”-urile sunt modele de control livrate ca LoRA.
Pot folosi ControlNet cu video?
Da: Wan VACE și Wan Fun ControlNet-urile iau secvențe de poziții sau adâncime; ghidurile video de pe site le acoperă.
Trebuie să am instalate modelele preprocesor?
Da, se descarcă la prima folosire (controlnet_aux în ComfyUI, extensia în A1111). Sunt mici.
Care e mai bun, IP-Adapter sau ControlNet?
Depinde de treabă: IP-Adapter copiază look-ul sau identitatea dintr-o imagine, ControlNet copiază structura. Multe fluxuri folosesc ambele.
Merge asta în cloud?
PirateDiffusion și BitVector au ControlNet-urile instalate pentru modelele lor; tu dai imaginea sursă și tipul de control.
Linkuri și surse
- ControlNet paper (Zhang et al., 2023)
- ControlNet 1.1 models (lllyasviel)
- ComfyUI controlnet_aux preprocessors
- SDXL family page
- Flux family page
- PirateDiffusionAD
Modele din acest ghid
Scris de
Conduce această navă. Are opinii despre timpii de decodare VAE pe care nimeni nu le-a cerut. Crede că greutățile vor să fie libere și că orice model pe care nu îl poți descărca este un abonament cu pași suplimentari. Nu va răspunde la întrebări despre cele 400 GB de checkpoint-uri de pe NAS.
Toate ghidurile de Captain
Ghiduri conexe
Checkpoint vs LoRA vs embedding vs ControlNet: ce face fiecare fișier
8 Oct 2025
Bazele img2img, inpainting și outpainting: corectarea mâinilor, schimbarea obiectelor și extinderea unei imagini
3 Dec 2025
Ghid Qwen-Image-Edit: instrucțiuni pentru prompturi, editare multi-imagine și LoRA-urile care o îmbunătățesc
26 Mai 2026
Ce este ComfyUI? Un ghid pentru începători despre noduri, fluxuri de lucru și primul grafic
17 Dec 2025
Mărirea imaginilor AI: modele ESRGAN, hires-fix, difuzie pe plăci și când să folosești fiecare
4 Mar 2026
Mai multe ghiduri
Flux vs SDXL vs SD 1.5 vs Qwen vs Z-Image: ce familie de modele să folosești în 2026
22 Mai 2026
Prompturi negative: ce fac, când ajută și de ce Flux nu are nevoie de ele
5 Nov 2025
Pași, CFG, samplere, programatori și semințe: setările de generare explicate cu valori implicite sigure
19 Nov 2025
Erori și soluții pentru Stable Diffusion WebUI Forge (Flux, SDXL, VRAM redus)
16 Mai 2026
Folosirea Stable Diffusion, SDXL și Flux pe un Mac (Apple Silicon): Draw Things, ComfyUI și la ce să te aștepți
21 Ian 2026
