Apply ControlNet-node in ComfyUI
Apply ControlNet koppelt een gidsafbeelding en een geladen ControlNet aan de positieve en negatieve CONDITIONING met sterkte en start/eind percentages, zodat de sampler de randen, diepte of pose van de gids volgt.
Wat Apply ControlNet doet
Apply ControlNet (de nieuwere ControlNetApplyAdvanced, weergegeven als Apply ControlNet) neemt positieve en negatieve conditioning, een CONTROL_NET, de voorbewerkte gidsafbeelding en, in recente versies, de VAE. Het geeft nieuwe conditioning terug die het controlesignaal naar de sampler brengt. strength bepaalt hoe sterk de invloed is (1.0 is volledig), start_percent en end_percent beperken de controle tot een deel van het samplingproces, bijvoorbeeld 0.0-0.6 zodat de compositie vroeg wordt bepaald maar het model de details vrij kan afmaken.
De gidsafbeelding moet al in de vorm zijn die ControlNet verwacht: een Canny ControlNet wil witte randen op zwart, een Depth ControlNet wil een grijze dieptemap, OpenPose wil het gekleurde skelet. Preprocessors uit de ControlNet Aux pack maken deze van een foto. Voor Tile ControlNets is de gids de afbeelding zelf, vaak wazig gemaakt of verkleind.
Invoer
Naam | Type | Wat het is |
|---|---|---|
positive / negative | CONDITIONING | Van de CLIP Text Encode nodes. |
control_net | CONTROL_NET | Van Load ControlNet Model. |
image | IMAGE | De voorbewerkte gids (randen, diepte, pose, of de afbeelding voor Tile). |
vae | VAE | Optioneel in recente versies; vereist door sommige Flux en Union ControlNets. |
strength | FLOAT | 0-2, hoe sterk de gids gevolgd wordt. 0.6-1.0 is gebruikelijk. |
start_percent / end_percent | FLOAT | Het deel van het samplingproces waarin de controle actief is. |
Uitvoer
Naam | Type | Wat het is |
|---|---|---|
positive | CONDITIONING | Geregelde positieve conditioning voor KSampler. |
negative | CONDITIONING | Geregelde negatieve conditioning voor KSampler. |
Zo gebruik je Apply ControlNet
- Laad een foto met Load Image en laat deze door een preprocessor gaan (Canny Edge, Depth Anything, DWPose).
- Laad de bijpassende ControlNet met Load ControlNet Model.
- Voeg Apply ControlNet toe; verbind positive, negative, control_net en de gidsafbeelding.
- Stel strength in op 0.8 en end_percent op 0.8 als beginpunt.
- Verbind de twee outputs met KSampler positive en negative; zorg dat de latent size overeenkomt met de gidsverhouding.
Instellingen en tips
- Koppel meerdere Apply ControlNet nodes achter elkaar (pose + diepte) door de outputs van de ene in de volgende te stoppen.
- Een lagere end_percent (0.5-0.7) geeft het model ruimte om details toe te voegen en voorkomt een stijve, overgetraceerde look.
- Houd de gidsafbeelding in dezelfde beeldverhouding als de latent; deze wordt aangepast om te passen.
- Gebruik voor Tile upscaling strength 0.5-0.8 zodat details nog kunnen veranderen.
- Bekijk het resultaat van de preprocessor: een zwarte of ruisachtige gids verklaart de meeste gevallen van "geen effect".
Problemen met Apply ControlNet oplossen
Het resultaat negeert de gids
Waarom het gebeurt
strength dicht bij 0, end_percent te laag, een zwarte gidsafbeelding, of een Union ControlNet zonder type.
Zo los je het op
Bekijk de gids, zet strength op 0.8-1.0 en end_percent op 1.0 om te testen, en verlaag daarna. Voeg SetUnionControlNetType toe voor union modellen.
Fout: mat1 en mat2 vormen kunnen niet worden vermenigvuldigd / ControlNet mismatch
Waarom het gebeurt
De ControlNet familie komt niet overeen met de checkpoint (SD 1.5 vs SDXL vs Flux).
Zo los je het op
Gebruik een ControlNet van dezelfde familie als de checkpoint.
Verbrande, hoogcontrast, geposteriseerd beeld
Waarom het gebeurt
strength boven 1 met een sterke ControlNet (Canny of Lineart) en hoge cfg.
Zo los je het op
Sterkte 0.6-0.9, end_percent 0.7, cfg binnen het normale bereik van het model.
Oude workflow toont "Apply ControlNet (OLD)"
Waarom het gebeurt
De single-conditioning node is hernoemd; hij werkt nog wel maar mist start/eind controle en de negatieve pass.
Zo los je het op
Vervang hem door Apply ControlNet en verbind zowel positive als negative.
Flux ControlNet fout over ontbrekende vae
Waarom het gebeurt
Sommige Flux en Union ControlNets hebben de VAE nodig om de gids te encoderen.
Zo los je het op
Verbind de VAE output van Load VAE met de vae input van Apply ControlNet.
Vragen over Apply ControlNet
Moet ik de afbeelding voorbewerken?
Ja, behalve voor Tile en Inpaint ControlNets, die de afbeelding zelf gebruiken. Elke ControlNet is getraind voor één soort kaart.
Kan ik ControlNet gebruiken met img2img?
Ja. De latent komt van VAE Encode, de controle van deze node; ze zijn onafhankelijk van elkaar.
Hoeveel ControlNets kan ik stapelen?
Zoveel als je VRAM toelaat; twee of drie is gebruikelijk. Elke extra kost geheugen en tijd.
Verwante nodes
Load ControlNet Model
ComfyUI core
Load ControlNet Model leest een ControlNet (of T2I-Adapter / ControlNet Union) bestand uit models/controlnet en geeft een CONTROL_NET object voor Apply ControlNet.
Load Image
ComfyUI core
Load Image leest een afbeelding uit de ComfyUI inputmap (of een upload) en geeft een IMAGE tensor plus een MASK uit de alfakanaal, het startpunt voor img2img, inpainting, ControlNet en IP-Adapter grafieken.
KSampler
ComfyUI core
KSampler voert de denoising-lus uit: het neemt het model, prompts en een latent en maakt de afgewerkte latente afbeelding, gestuurd door seed, stappen, cfg, sampler, scheduler en denoise.
CLIP Text Encode (Prompt)
ComfyUI core
CLIP Text Encode zet een tekstprompt om in CONDITIONING met de modeltekstencoder. Eén node bevat de positieve prompt, een tweede de negatieve prompt.
Ultimate SD Upscale
ComfyUI_UltimateSDUpscale
Ultimate SD Upscale vergroot een afbeelding met een ESRGAN-model, en her-sampled het daarna tegel voor tegel via het diffusie-model met je prompt bij een lage denoise, waardoor echte details worden toegevoegd bij 2x-4x zonder dat je VRAM opraakt.
Meer ComfyUI-nodes
ComfyUI Manager
ComfyUI-Manager
ComfyUI Manager is de extensie die aangepaste node-pakketten en modellen installeert, bijwerkt en repareert vanuit de interface, ontbrekende nodes in geïmporteerde workflows oplost en je setup vastlegt.
Load Checkpoint
ComfyUI core
Load Checkpoint (CheckpointLoaderSimple) opent een .safetensors of .ckpt modelbestand en levert de drie onderdelen die elke workflow nodig heeft: het diffusion MODEL, de CLIP tekstencoder en de VAE.
Save Image
ComfyUI core
Save Image schrijft de IMAGE tensor als een PNG naar ComfyUI/output, met de hele workflow ingebed in de bestandsmetadata zodat je de afbeelding weer terug kunt slepen in ComfyUI om de grafiek te herstellen.
VAE Decode
ComfyUI core
VAE Decode zet de gesamplede LATENT om in een pixel IMAGE met de VAE; VAE Decode (Tiled) doet hetzelfde in tegels voor heel grote afbeeldingen.
Empty Latent Image
ComfyUI core
Empty Latent Image maakt het lege latente canvas (breedte, hoogte, batch_size) waar de text-to-image sampling mee begint; de afmetingen moeten veelvouden van 8 zijn en passen bij de model familie.
Load LoRA
ComfyUI core
Load LoRA (LoraLoader) past een LoRA-bestand toe op het MODEL en CLIP met aparte sterktes, zodat je een stijl, personage of concept kunt toevoegen aan elk checkpoint zonder het te mergen.