ControlNet explicado: pose, profundidad, bordes e imágenes de referencia para SD 1.5, SDXL y Flux

Q: El resultado parece calco y plano

Fuerza 1.0 con porcentaje final 1.0. Fuerza 0.7, porcentaje final 0.7; deja que el modelo termine solo.

Q: Se queda sin memoria con dos unidades

Cada ControlNet ocupa hasta 2.5 GB. Usa un modelo Union para ambos tipos, o ControlNets fp8; mira la guía de VRAM.

Tema: Prompting

Por Captain

Publicado el 18 de feb de 2026

Resumen

Un prompt dice qué dibujar; ControlNet dice dónde. Es una red lateral, entrenada por familia, que lee una imagen de control (una pose de figura de palo, un mapa de profundidad, un dibujo de bordes, un garabato, un mapa de segmentación) y guía el denoiser para que el resultado coincida con esa estructura. El prompt sigue decidiendo el sujeto, estilo y luz; la imagen de control fija la composición. Así es como la gente consigue la misma pose en diez personajes, convierte un render 3D en una foto o mantiene la forma exacta de un producto.

Siempre pasan dos pasos. Primero un preprocesador convierte tu foto original en la imagen de control (OpenPose dibuja el esqueleto, MiDaS o Depth Anything estiman la profundidad, Canny encuentra bordes, Lineart traza contornos). Luego el modelo ControlNet para tu familia usa esa imagen durante la generación. Usar la foto original en lugar del mapa preprocesado es el error número uno de principiantes; el segundo es usar un ControlNet de SD 1.5 en un checkpoint SDXL.

Flux y los modelos de 2025 cambiaron el panorama: Black Forest Labs ofrece Flux Depth y Flux Canny como modelos completos y LoRAs, los Union ControlNets cubren varios tipos en un solo archivo para SDXL y Flux, y los editores de instrucciones (Qwen Image Edit, Kontext) manejan muchos trabajos de "mantener esto, cambiar aquello" sin imagen de control. El catálogo en este sitio etiqueta los ControlNets bajo "otros" con su familia; la página del modelo nombra el tipo de control.

Referencia

Nombre	Tipo	Qué es
OpenPose	control type	Puntos clave del cuerpo, manos y cara como figura de palo. Transferencia de pose, coreografía, personajes consistentes. Débil en manos a menos que el modelo de manos esté activado.
Depth (MiDaS, Zoe, Depth Anything)	control type	Mapa de profundidad en escala de grises. Mantiene la disposición espacial y la cámara mientras permite un cambio total de estilo. El control más permisivo para foto a ilustración.
Canny / Lineart / SoftEdge (HED)	control type	Dibujos de bordes. Canny es estricto y nítido, Lineart para dibujos, SoftEdge más suelto. Formas de productos, arquitectura, logos.
Scribble	control type	Trazos toscos que dibujas tú mismo y se convierten en composición. Fuerza baja (0.5-0.7) o el resultado se parece al garabato.
Tile	control type	Guía un reescalado o un pase de detalle para mantenerse fiel a la entrada de baja resolución. El motor detrás de la mayoría de los flujos de trabajo de "reescalado definitivo".
IP-Adapter / Redux / reference	image conditioning	No es un ControlNet: condiciona el estilo o la cara de una imagen en lugar de su estructura. Combínalo con un ControlNet para tener ambos.
Strength / weight	0.4-1.0	Qué tan fuerte se aplica la estructura. 0.8 para pose y profundidad, 0.5-0.7 para bordes y garabatos.
Start / end percent	0.0-1.0	En qué parte del denoising se aplica el control. Terminar en 0.6-0.8 deja que el modelo termine detalles libremente y elimina el aspecto "calco".
Family files	SD 1.5: lllyasviel control_v11 \| SDXL: diffusers / xinsir Union \| Flux: Flux Depth/Canny, Shakker Union, InstantX	Cada familia necesita su propio ControlNet; tamaños de 0.7 a 2.5 GB. Los archivos Union agrupan varios tipos.

Paso a paso

Elige el tipo de control para el trabajo: pose para personas, profundidad para escenas y cambio de estilo, Canny o Lineart para formas definidas, garabato para ideas, tile para reescalado.
Descarga el ControlNet para la familia de tu checkpoint en models/controlnet (ComfyUI) o models/ControlNet (A1111, Forge). Los archivos Union ahorran espacio si usas varios tipos.
Carga tu imagen original y ejecuta el preprocesador correspondiente (ComfyUI: nodos controlnet_aux; A1111: la extensión ControlNet lo hace en línea). Previsualiza la imagen de control; corrígela si el esqueleto perdió alguna extremidad.
ComfyUI: Aplica ControlNet (Avanzado) entre CLIP Text Encode y KSampler, conecta la imagen de control y el modelo ControlNet, fuerza 0.8, inicio 0, fin 0.8.
A1111 / Forge: activa la unidad ControlNet 0, elige preprocesador y modelo del mismo tipo, peso 0.8, paso de control final 0.8, pixel perfect activado.
Escribe el prompt para lo que quieres ver, no para la pose (la pose se maneja). Genera cuatro semillas.
Baja la fuerza o el porcentaje final si la imagen parece calco o plana; súbelos si la estructura se desvía. Añade una segunda unidad (pose + profundidad) para composiciones difíciles.
En la nube, PirateDiffusion aplica ControlNet cuando respondes a una imagen fuente con /render y una bandera de control; BitVector ofrece pose y profundidad en sus herramientas de imagen.

Ejemplos

Transferencia de pose en ComfyUI (SDXL)

Load Image (reference photo) -> DWPose Estimator (body + hands) -> Apply ControlNet Advanced (xinsir controlnet-union-sdxl, type openpose, strength 0.8, end 0.75) -> KSampler

Prompt: a knight in weathered plate armour standing on a cliff at dawn, cinematic, 35mm

Foto a acuarela con profundidad (A1111 / Forge)

ControlNet unit 0: preprocessor depth_anything, model control_sdxl_depth, weight 0.7, end 0.7, pixel perfect

Prompt: loose watercolour illustration of a harbour town, paper texture, soft morning light

Flux Canny LoRA

Load Diffusion Model (flux1-dev-fp8) -> LoraLoaderModelOnly (flux1-canny-dev-lora, 0.85) -> InstructPixToPixConditioning (canny image) -> KSampler (guidance 30)

Consejos

La profundidad es mejor que Canny para foto a ilustración porque deja libre la textura; Canny es mejor que profundidad para logos y productos porque mantiene los bordes exactos.
El porcentaje final es el ajuste que la mayoría nunca toca y el que arregla el aspecto plástico y calco.
Redimensiona la imagen de control al tamaño de generación con la misma relación de aspecto; formas desajustadas recortan el esqueleto.
OpenPose desde una foto tuya es la forma más rápida de conseguir una biblioteca de poses consistente para un personaje.
Para Flux, los LoRAs Depth y Canny de Black Forest Labs son más ligeros que los modelos completos de control y suficientes para la mayoría de trabajos.
Los editores de instrucciones (Qwen Image Edit, Kontext) a menudo reemplazan un pase de ControlNet para ediciones de "misma escena, sujeto diferente"; mira la guía de Qwen Image Edit.

Usa el nodo que indica la página del modelo y CFG 1 con guía según la página.

Preguntas

¿ControlNet es un LoRA?

No. Es una red separada que lee una imagen; un LoRA cambia los pesos del modelo desde texto. Las "LoRAs" Depth y Canny de Flux son una excepción: modelos de control distribuidos en forma de LoRA.

¿Puedo usar ControlNet con video?

Sí: Wan VACE y los Wan Fun ControlNets toman secuencias de pose o profundidad; las guías de video en este sitio los cubren.

¿Necesito tener instalados los modelos preprocesadores?

Sí, se descargan en el primer uso (controlnet_aux en ComfyUI, la extensión en A1111). Son pequeños.

¿Cuál es mejor, IP-Adapter o ControlNet?

Para trabajos diferentes: IP-Adapter copia el aspecto o identidad de una imagen, ControlNet copia la estructura. Muchos flujos usan ambos.

¿Esto funciona en la nube?

PirateDiffusion y BitVector tienen los ControlNets instalados para sus modelos; tú proporcionas la imagen fuente y el tipo de control.

Enlaces y fuentes

Modelos de esta guía

Modelos Stable Diffusion 1.5

Modelos Stable Diffusion XL 1.0

Modelos Flux

Escrito por

Captain

Dirige este barco. Tiene opiniones sobre los tiempos de decodificación VAE que nadie pidió. Cree que los pesos quieren ser libres y que cualquier modelo que no puedas descargar es una suscripción con pasos extra. No responderá preguntas sobre los 400 GB de checkpoints en el NAS.

Todas las guías de Captain

Checkpoint vs LoRA vs embedding vs ControlNet: qué hace cada archivo

8 de oct de 2025

img2img, retoque y ampliación básicos: arreglar manos, cambiar objetos y extender una imagen

3 de dic de 2025

Guía de Qwen-Image-Edit: instrucciones, edición con varias imágenes y los LoRAs que la mejoran

26 de may de 2026

¿Qué es ComfyUI? Guía para principiantes sobre nodos, flujos de trabajo y el primer gráfico

17 de dic de 2025

Mejorar imágenes con IA: modelos ESRGAN, hires-fix, difusión en mosaico y cuándo usar cada uno

4 de mar de 2026

Más guías

Flux vs SDXL vs SD 1.5 vs Qwen vs Z-Image: qué familia de modelos usar en 2026

22 de may de 2026

Prompts negativos: qué hacen, cuándo ayudan y por qué Flux no los necesita

5 de nov de 2025

Pasos, CFG, muestreadores, planificadores y semillas: explicación de los ajustes de generación con valores seguros

19 de nov de 2025

Errores y soluciones de Stable Diffusion WebUI Forge (Flux, SDXL, poca VRAM)

16 de may de 2026

Ejecutar Stable Diffusion, SDXL y Flux en un Mac (Apple Silicon): Draw Things, ComfyUI y qué esperar

21 de ene de 2026