ComfyUI의 Apply ControlNet 노드
Apply ControlNet은 가이드 이미지와 로드된 ControlNet을 양수 및 음수 CONDITIONING에 강도와 시작/종료 비율로 붙여서 샘플러가 가이드의 가장자리, 깊이 또는 포즈를 따라가도록 해줘.
Apply ControlNet이(가) 하는 일
Apply ControlNet(새 버전인 ControlNetApplyAdvanced로, Apply ControlNet으로 표시됨)은 양수와 음수 컨디셔닝, CONTROL_NET, 전처리된 가이드 IMAGE, 그리고 최신 버전에서는 VAE를 받아. 이걸로 샘플러에 제어 신호가 담긴 새 컨디셔닝을 반환해. strength는 영향력을 조절하는 값(1.0이 최대), start_percent와 end_percent는 제어가 샘플링의 어느 부분에 적용될지 제한해. 예를 들어 0.0-0.6이면 구성이 초반에 잡히고 모델이 나중에 자유롭게 디테일을 완성하는 거야.
가이드 이미지는 ControlNet이 기대하는 형태여야 해: Canny ControlNet은 검은 배경에 흰색 가장자리, Depth ControlNet은 회색 깊이 맵, OpenPose는 색깔 있는 골격. ControlNet Aux 팩의 전처리기가 사진에서 이런 걸 만들어줘. Tile ControlNet은 가이드가 원본 사진 자체인데, 보통 흐리게 하거나 축소해서 써.
입력
이름 | 타입 | 의미 |
|---|---|---|
positive / negative | CONDITIONING | CLIP Text Encode 노드에서 받아. |
control_net | CONTROL_NET | Load ControlNet Model에서 받아. |
image | IMAGE | 전처리된 가이드(가장자리, 깊이, 포즈, 또는 Tile용 사진). |
vae | VAE | 최근 버전에서 선택 사항; 일부 Flux와 Union ControlNet에 필요해. |
strength | FLOAT | 0-2 사이, 가이드를 얼마나 강하게 따를지. 보통 0.6-1.0 사이. |
start_percent / end_percent | FLOAT | 제어가 활성화되는 샘플링 구간 비율. |
출력
이름 | 타입 | 의미 |
|---|---|---|
positive | CONDITIONING | KSampler용 제어된 양수 컨디셔닝. |
negative | CONDITIONING | KSampler용 제어된 음수 컨디셔닝. |
Apply ControlNet 사용법
- Load Image로 사진을 불러오고 전처리기(Canny Edge, Depth Anything, DWPose)를 거쳐.
- Load ControlNet Model로 맞는 ControlNet을 불러.
- Apply ControlNet을 추가하고 positive, negative, control_net, 가이드 이미지를 연결해.
- 처음엔 strength를 0.8, end_percent를 0.8로 설정해.
- 두 출력을 KSampler의 positive와 negative에 연결하고, latent 크기가 가이드 비율과 맞는지 확인해.
설정과 팁
- 여러 Apply ControlNet 노드를 연결해(포즈 + 깊이 같이) 한 노드 출력이 다음 노드 입력으로 가도록 해.
- end_percent를 낮춰(0.5-0.7) 모델이 디테일을 자유롭게 추가하게 하고 딱딱한 따라 그린 느낌을 줄여.
- 가이드 이미지와 latent는 같은 가로세로 비율을 유지해; 크기가 맞게 조정돼.
- Tile 업스케일링 땐 strength를 0.5-0.8로 해서 디테일 변화가 남도록 해.
- 전처리기 출력 미리보기: 검거나 노이즈가 많은 가이드는 대부분 '효과 없음' 문제 원인이야.
Apply ControlNet 문제 해결
결과가 가이드를 무시함
원인
strength가 거의 0이거나 end_percent가 너무 낮거나, 가이드 이미지가 검거나, 타입 없는 Union ControlNet일 때.
해결 방법
가이드를 미리 보고 strength를 0.8-1.0, end_percent를 1.0으로 테스트해봐. 그 다음에 조절해. Union 모델엔 SetUnionControlNetType을 추가해.
오류: mat1과 mat2 모양이 곱해질 수 없음 / ControlNet 불일치
원인
ControlNet 종류가 체크포인트와 안 맞을 때(SD 1.5 vs SDXL vs Flux).
해결 방법
체크포인트와 같은 종류의 ControlNet을 써.
번진 듯한 고대비 포스터화된 이미지
원인
강한 ControlNet(Canny나 Lineart)과 높은 cfg에서 strength가 1 이상일 때.
해결 방법
strength는 0.6-0.9, end_percent는 0.7, cfg는 모델 권장 범위 내로 설정해.
옛날 워크플로우에 "Apply ControlNet (OLD)" 표시됨
원인
단일 컨디셔닝 노드 이름이 바뀌었고, 여전히 작동하지만 시작/종료 제어나 음수 패스가 없음.
해결 방법
Apply ControlNet으로 교체하고 양수와 음수 둘 다 연결해.
Flux ControlNet에서 vae 누락 오류
원인
일부 Flux와 Union ControlNet은 가이드 인코딩에 VAE가 필요함.
해결 방법
Load VAE의 VAE 출력을 Apply ControlNet의 vae 입력에 연결해.
Apply ControlNet에 관한 질문
이미지를 꼭 전처리해야 하나?
응, Tile과 Inpaint ControlNet 빼고는 꼭 해야 해. 각 ControlNet은 특정 맵 종류에 맞게 훈련됐거든.
ControlNet을 img2img에 쓸 수 있나?
응. latent는 VAE Encode에서, 제어는 이 노드에서 받아서 둘은 독립적이야.
ControlNet을 몇 개까지 쌓을 수 있나?
VRAM 허용하는 만큼 가능해; 보통 2~3개가 일반적이야. 개수만큼 메모리랑 시간이 더 들어.
관련 노드
Load ControlNet Model
ComfyUI core
Load ControlNet Model은 models/controlnet에서 ControlNet(또는 T2I-Adapter / ControlNet Union) 파일을 읽고 Apply ControlNet에 쓸 CONTROL_NET 객체를 출력해.
Load Image
ComfyUI core
Load Image는 ComfyUI 입력 폴더(또는 업로드)에서 이미지를 불러와서 IMAGE 텐서와 알파 채널에서 추출한 MASK를 출력해. 이 MASK는 img2img, 인페인팅, ControlNet, IP-Adapter 그래프의 시작점이야.
KSampler
ComfyUI core
KSampler는 노이즈 제거 과정을 실행해. 모델, 프롬프트, 그리고 잠재(latent)를 받아서 완성된 잠재 이미지를 만들어내지. 시드, 스텝, cfg, 샘플러, 스케줄러, 그리고 노이즈 제거 정도로 조절할 수 있어.
CLIP Text Encode (Prompt)
ComfyUI core
CLIP Text Encode는 텍스트 프롬프트를 모델 텍스트 인코더를 사용해 CONDITIONING으로 바꿔줘. 한 노드는 긍정 프롬프트를, 다른 노드는 부정 프롬프트를 담아.
Ultimate SD Upscale
ComfyUI_UltimateSDUpscale
Ultimate SD Upscale는 ESRGAN 모델로 이미지를 확대한 다음, 확산 모델을 사용해 타일 단위로 다시 샘플링해요. 낮은 디노이즈 값으로 프롬프트를 적용해서 VRAM 부족 없이 2배에서 4배까지 실제 디테일을 더해줍니다.
더 많은 ComfyUI 노드
ComfyUI Manager
ComfyUI-Manager
ComfyUI Manager는 인터페이스 안에서 커스텀 노드 팩과 모델을 설치, 업데이트, 수정해주고, 불러온 워크플로우에서 누락된 노드를 해결하며 설정을 스냅샷으로 저장하는 확장 기능이야.
Load Checkpoint
ComfyUI core
Load Checkpoint (CheckpointLoaderSimple)는 .safetensors 또는 .ckpt 모델 파일을 열고, 워크플로우에서 필요한 세 가지 부분인 diffusion MODEL, CLIP 텍스트 인코더, VAE를 제공합니다.
Save Image
ComfyUI core
Save Image는 IMAGE 텐서를 ComfyUI/output에 PNG로 저장해. 파일 메타데이터에 전체 워크플로우가 들어가 있어서, 나중에 그 그림을 ComfyUI에 다시 끌어다 놓으면 그래프를 복원할 수 있어.
VAE Decode
ComfyUI core
VAE Decode는 샘플링된 LATENT를 VAE를 사용해 픽셀 IMAGE로 변환해 줘; VAE Decode (Tiled)는 아주 큰 이미지에 대해 타일 단위로 같은 작업을 해.
Empty Latent Image
ComfyUI core
Empty Latent Image는 텍스트-이미지 샘플링이 시작되는 빈 잠재 캔버스(가로, 세로, 배치 크기)를 만듭니다; 크기는 8의 배수여야 하고 모델 패밀리와 맞아야 해요.
Load LoRA
ComfyUI core
Load LoRA (LoraLoader)는 MODEL과 CLIP에 각각 다른 강도로 LoRA 파일을 적용해서, 스타일이나 캐릭터, 컨셉을 어떤 체크포인트에도 병합 없이 추가할 수 있어.