Cómo funcionan los modelos generativos de imágenes AI: difusión, latentes y codificadores de texto explicados de forma sencilla
Resumen
Todos los modelos de imagen actuales son un eliminador de ruido. Durante el entrenamiento se les muestran millones de imágenes con cantidades crecientes de ruido aleatorio añadido, junto con el texto de cada imagen, y aprenden a predecir qué ruido se añadió. En el momento de la generación, el proceso va hacia atrás: se empieza con ruido puro, se le pregunta al modelo qué ruido hay ahí según tu prompt, se quita un poco, se repite veinte o treinta veces, y aparece una imagen que coincide con el texto. Ese es todo el truco; "difusión" es el nombre de este proceso gradual de añadir ruido y luego quitarlo.
Trabajar con píxeles a tamaño completo sería demasiado lento, así que desde Stable Diffusion 1.x la eliminación de ruido ocurre en un espacio comprimido llamado latente. Una red pequeña aparte, el VAE, comprime una imagen de 1024x1024 en una cuadrícula de números de 128x128 y la expande al final. El eliminador de ruido (un U-Net en SD 1.5 y SDXL, un transformador en Flux, Qwen, Z-Image y los modelos de video) nunca ve píxeles. Por eso los tamaños de imagen deben ser múltiplos de 8 o 16, y por qué el paso de decodificación del VAE al final puede quedarse sin memoria por sí solo.
El prompt entra a través de un codificador de texto, que convierte las palabras en una lista de números con los que el eliminador de ruido puede condicionarse. SD 1.5 usa un codificador CLIP con límite de 77 tokens, SDXL usa dos, Flux añade un gran modelo de lenguaje T5, y los modelos de 2025 y 2026 (Qwen Image, FLUX.2, Z-Image, Wan 2.2) usan LLM completos como codificadores. Ese cambio explica la mayor parte de la diferencia en cómo se escriben los prompts: listas de etiquetas para modelos basados en CLIP, frases naturales para los basados en LLM. Finalmente, un LoRA es un pequeño conjunto de correcciones a los pesos del eliminador de ruido (y a veces al codificador) que dirige lo que dibuja; no añade conocimiento nuevo de la nada, solo reequilibra lo que el modelo base ya aprendió.
Referencia
Nombre | Tipo | Qué es |
|---|---|---|
Denoiser (U-Net / DiT) | component | |
VAE | component | Comprime imágenes a latentes y las vuelve a expandir. Un VAE incorrecto o faltante da imágenes lavadas o con tono púrpura. Flux y familias más nuevas traen sus propios VAEs de 16 canales. |
Text encoder | component | CLIP-L, CLIP-G, T5-XXL o un LLM (Qwen2.5-VL, Mistral, Gemma). Decide cómo se entiende el prompt y cuánto puede durar. |
Scheduler / sampler | setting | El programa de cuánto ruido quitar en cada paso y el método numérico usado. Cambia la textura y la velocidad de convergencia, no el contenido. |
Steps | setting | Cuántas iteraciones de eliminación de ruido. Los modelos destilados (Turbo, Lightning, Schnell, Klein) están entrenados para necesitar de 1 a 8. |
CFG / guidance | setting | Guía sin clasificador: cuánto se aleja la predicción condicionada por el prompt de la no condicionada. Muy alto quema colores; los modelos con guía destilada (Flux dev) usan un solo valor de guía. |
Latent size | setting | |
Flow matching | training method |
Paso a paso
- Ruido inicial: el sampler crea una cuadrícula latente de números aleatorios desde la semilla. Cambia la semilla y todo lo que sigue cambia.
- Prompt: el codificador de texto convierte tus palabras en embeddings. En modelos CLIP todo lo que pase de 77 tokens se divide o descarta; en modelos basados en LLM un párrafo está bien.
- Cada paso: el eliminador de ruido se ejecuta dos veces en SD y SDXL (con y sin prompt); la diferencia, escalada por CFG, apunta el latente hacia el prompt. Flux dev corre una vez con un valor de guía incorporado.
- El sampler resta el ruido predicho según el programa (Karras, exponencial, simple, beta). Después del último paso el latente es una imagen limpia en forma comprimida.
- Decodificación: el VAE expande el latente a píxeles. Existe decodificación tiled del VAE porque este paso solo puede superar la memoria de una tarjeta de 8 GB en tamaños grandes.
- Pasadas opcionales: hires-fix vuelve a añadir ruido un poco y elimina ruido a un tamaño mayor; img2img parte de una imagen existente en vez de ruido puro; inpainting limita el cambio a una máscara.
- Los modelos de video añaden un eje de tiempo al latente (un clip de 5 segundos es un latente 3D) y por lo demás es el mismo ciclo, por eso necesitan diez veces la memoria.
Ejemplos
El mismo prompt en tres arquitecturas
SD 1.5 (CLIP, 77 tokens): "portrait of an old sailor, grey beard, wool cap, harbour background, film photo"
SDXL (two CLIPs): same words, 1024x1024, CFG 6, 28 steps
Flux dev (CLIP-L + T5): "A weathered old sailor with a grey beard and a navy wool cap stands at a harbour railing at dusk; shallow depth of field, Kodak Portra look." guidance 3.5, 24 steps
Nodos de ComfyUI mapeados a los componentes
Load Checkpoint -> MODEL (denoiser), CLIP (text encoder), VAE
CLIP Text Encode (prompt) -> KSampler (sampler, steps, CFG, seed) -> VAE Decode -> Save Image
Consejos
- Un modelo no puede dibujar lo que no estaba en sus datos de entrenamiento. Por eso los fine-tunes de anime conocen miles de personajes y los modelos de fotos no, y por qué existe un LoRA para casi cada vacío.
- Los fine-tunes (DreamShaper, Juggernaut, Illustrious, Pony) tienen la misma arquitectura que su base con pesos diferentes; un LoRA para la base suele funcionar en el fine-tune, un LoRA para un fine-tune muy distinto (Pony) a menudo no.
- Los modelos destilados cambian flexibilidad por velocidad. SDXL Lightning a 4 pasos está bien para borradores; el modelo completo a 28 pasos es mejor para finales.
- La destilación de guía (Flux dev) y CFG no son lo mismo. Usar un CFG de 7 en Flux dev da imágenes quemadas; usa los ajustes de la página del modelo.
- Todo aquí corre en los socios en la nube igual que localmente; la diferencia es solo quién tiene la GPU.
Solución de problemas
Las imágenes salen grises, lavadas o con tono púrpura
Por qué ocurre
VAE faltante o incorrecto, o un desbordamiento de VAE fp16 en SDXL.
Cómo arreglarlo
Carga el VAE que corresponde a la familia; en SDXL usa el VAE con arreglo fp16.
El prompt largo se ignora en parte
Por qué ocurre
Límite de tokens CLIP en SD 1.5 y SDXL.
Cómo arreglarlo
Pon las palabras importantes primero, o cambia a un modelo Flux, Qwen o Z-Image con codificador LLM.
Los colores se queman y el contraste es extremo
Por qué ocurre
CFG demasiado alto para el modelo, o CFG usado en un modelo con guía destilada.
Cómo arreglarlo
Baja el CFG a 5-7 en SDXL; usa guía 3-4 y CFG 1 en Flux dev.
Patrones repetidos o sujetos duplicados en tamaños grandes
Por qué ocurre
Latente mucho más grande que la resolución de entrenamiento; el modelo se repite.
Cómo arreglarlo
Genera en tamaño nativo y luego escala, o usa hires-fix con 0.4 de eliminación de ruido.
Se queda sin memoria solo al final
Por qué ocurre
El paso de decodificación del VAE a tamaño completo.
Cómo arreglarlo
Usa decodificación tiled del VAE, o un tamaño de salida menor seguido de un escalador.
Preguntas
¿El modelo copia imágenes de su conjunto de entrenamiento?
Guarda pesos, no imágenes, y no puede recuperar una foto de entrenamiento. Pueden aparecer casi duplicados de imágenes muy frecuentes (pinturas famosas, logos), por eso es mejor no pedirlas en el prompt.
¿Por qué los modelos nuevos necesitan más memoria si la idea es la misma?
Eliminadores de ruido más grandes (12 mil millones de parámetros para Flux contra 0.9 para SD 1.5), codificadores de texto más grandes y latentes más grandes. Las versiones cuantizadas fp8 y GGUF los reducen.
¿Cuál es la diferencia entre un checkpoint y un modelo?
Un checkpoint es el archivo guardado de un modelo (eliminador de ruido, a menudo con codificador y VAE incluidos). La gente usa las palabras indistintamente.
¿Por qué la misma semilla da una imagen diferente en otro PC?
GPU diferente, precisión (fp16 vs bf16) o implementación del sampler; el ruido es igual pero la aritmética varía un poco. Mismo equipo, mismos ajustes, misma imagen.
¿Más pasos siempre ayudan?
No. La mayoría de los samplers convergen entre 25 y 30 pasos; más allá de eso pierdes tiempo. Los modelos destilados empeoran con más pasos.
Enlaces y fuentes
- Denoising Diffusion Probabilistic Models (Ho et al., 2020)
- High-Resolution Image Synthesis with Latent Diffusion Models (Rombach et al., 2022)
- Flow Matching for Generative Modeling (Lipman et al., 2022)
- Flux family page
- SD 1.5 family page
- BitVector web appAD
Modelos de esta guía
Modelos Stable Diffusion 1.5
Modelos Stable Diffusion XL 1.0
Modelos Flux
Modelos Qwen
Modelos Zimage
Modelos Wan
Escrito por
Lleva el inventario: cada LoRA, cada cuantización, cada archivo que alguien renombró a final_v2_REAL.safetensors. Mide el hardware en cuántos renders Wan caben antes de la cena. Te dará la cifra de VRAM, luego te dirá que está mal porque tienes Chrome abierto. Pesos abiertos o no se envió.
Todas las guías de Quartermaster
Guías relacionadas
Primeros pasos con la generación de imágenes por IA: tu primera imagen en diez minutos
14 de ago de 2025
Pasos, CFG, muestreadores, planificadores y semillas: explicación de los ajustes de generación con valores seguros
19 de nov de 2025
Checkpoint vs LoRA vs embedding vs ControlNet: qué hace cada archivo
8 de oct de 2025
Flux vs SDXL vs SD 1.5 vs Qwen vs Z-Image: qué familia de modelos usar en 2026
22 de may de 2026
Más guías
Requisitos de VRAM para todos los modelos populares de IA para imágenes y video (2026): precisión completa, FP8 y GGUF
6 de oct de 2026
CUDA sin memoria: cuánto VRAM necesita cada modelo de IA y cómo ajustarlo
18 de may de 2026
Alternativas a Civitai: dónde encontrar y descargar modelos de IA en 2026
16 de sep de 2026
AMD Amuse en 2026: qué pasó y ¿deberías seguir usándolo?
9 de oct de 2026
Qué es un LoRA y cómo usar uno en ComfyUI, Forge, Automatic1111 y en la nube
20 de may de 2026