AnimateDiff Loader (Evolved)-node in ComfyUI
AnimateDiff Loader voegt een bewegingsmodule toe aan een SD 1.5 of SDXL model zodat een batch latents wordt weergegeven als samenhangende animatieframes, de klassieke manier om korte clips te maken van tekst met Stable Diffusion.
Wat AnimateDiff Loader (Evolved) doet
AnimateDiff plaatst temporele attentielagen (een bewegingsmodule zoals mm_sd_v15_v2, v3_sd15_mm of AnimateLCM) in de UNet. Het ComfyUI-AnimateDiff-Evolved pakket van Kosinkadink maakt dit beschikbaar als AnimateDiff Loader (Gen1) en de nieuwere Gen2 nodes (Use Evolved Sampling, Apply AnimateDiff Model, Context Options). De sampler behandelt dan een latent batch (16-32 frames) als een reeks, waarbij Context Options een venster van 16 frames schuift over langere clips.
Motion LoRAs voegen pannen en zoomen toe, en AnimateLCM of de LCM sampler verkort de rendertijd tot een paar stappen. De frames komen eruit als een IMAGE batch, die Video Combine van VideoHelperSuite omzet in een MP4 of GIF. Met Wan, Hunyuan en LTX nu beschikbaar, blijft AnimateDiff populair voor gestileerde SD 1.5 animatie en voor video-naar-video met ControlNet.
Invoer
Naam | Type | Wat het is |
|---|---|---|
model | MODEL | Een SD 1.5 (of SDXL met de SDXL beta module) checkpoint model. |
model_name | COMBO | Bewegingsmodule uit models/animatediff_models. |
beta_schedule | COMBO | sqrt_linear (AnimateDiff) voor de meeste modules; lcm varianten voor AnimateLCM. |
context_options | CONTEXT_OPTIONS | Optionele schuifvenster instellingen voor meer dan 16 frames. |
motion_lora | MOTION_LORA | Optionele camera beweging LoRA. |
Uitvoer
Naam | Type | Wat het is |
|---|---|---|
MODEL | MODEL | Het model met bewegingslagen; verbind dit met KSampler. |
Zo gebruik je AnimateDiff Loader (Evolved)
- Installeer ComfyUI-AnimateDiff-Evolved en ComfyUI-VideoHelperSuite via Manager; download mm_sd_v15_v2.ckpt of v3_sd15_mm.ckpt in models/animatediff_models.
- Laad een SD 1.5 checkpoint en verbind MODEL met AnimateDiff Loader.
- Stel Empty Latent Image batch_size in op 16 (frames) bij 512x512 of 512x768.
- Sample met 20-25 stappen, cfg 7, en decodeer met VAE Decode.
- Verbind de IMAGE batch met Video Combine (frame_rate 8-12, formaat video/h264-mp4).
Instellingen en tips
- Context Options Looped Uniform met context_length 16 en overlap 4 werkt voor clips van 32-64 frames.
- Prompt scheduling (FizzNodes BatchPromptSchedule) verandert de prompt in de tijd.
- Combineer met een Tile of Lineart ControlNet op videoframes voor video-naar-video.
- AnimateLCM met de LCM sampler en 6-8 stappen rendert veel sneller.
- Houd resoluties tussen 512-768; de SD 1.5 bewegingsmodules zijn getraind op 256-512.
Problemen met AnimateDiff Loader (Evolved) oplossen
Frames zijn losse plaatjes, geen beweging
Waarom het gebeurt
De loader zit niet in het pad naar de sampler, of de batch size is 1.
Zo los je het op
Verbind de loader MODEL met KSampler en stel Empty Latent Image batch_size in op 16 of meer.
Fout: bewegingsmodule is niet compatibel met het model (SD1.5 vs SDXL)
Waarom het gebeurt
Een SD 1.5 bewegingsmodule met een SDXL checkpoint of andersom.
Zo los je het op
Gebruik mm_sdxl_v10_beta met SDXL, of een SD 1.5 checkpoint met de sd15 modules.
Flikkeren en kleurverschuivingen tussen frames
Waarom het gebeurt
Hoge cfg, een heel gedetailleerde prompt, of geen context overlap bij lange clips.
Zo los je het op
cfg 6-7, overlap 4+, en voeg een Tile ControlNet toe of verlaag denoise in vid2vid.
Geheugen vol bij 32 frames
Waarom het gebeurt
Alle frames worden tegelijk gesampled; VRAM groeit mee met batch size.
Zo los je het op
Gebruik Context Options (venster van 16), verlaag de resolutie, of start met --lowvram.
Vragen over AnimateDiff Loader (Evolved)
Gen1 of Gen2 nodes?
Gen2 (Use Evolved Sampling + Apply AnimateDiff Model) is modulair en heeft meer functies; Gen1 Loader is eenvoudiger voor een eerste clip.
Werkt AnimateDiff met Flux?
Nee. Voor moderne tekst-naar-video gebruik Wan 2.x, HunyuanVideo of LTX-Video met hun eigen nodes.
Verwante nodes
Video Combine (VideoHelperSuite)
ComfyUI-VideoHelperSuite
Video Combine zet een IMAGE-batch van frames om in een MP4, WebM, GIF of afbeeldingsreeks met een gekozen framerate, met optionele audio, aantal loops en ping-pong, de standaard output-node voor elke videowerkflow.
Load Checkpoint
ComfyUI core
Load Checkpoint (CheckpointLoaderSimple) opent een .safetensors of .ckpt modelbestand en levert de drie onderdelen die elke workflow nodig heeft: het diffusion MODEL, de CLIP tekstencoder en de VAE.
Empty Latent Image
ComfyUI core
Empty Latent Image maakt het lege latente canvas (breedte, hoogte, batch_size) waar de text-to-image sampling mee begint; de afmetingen moeten veelvouden van 8 zijn en passen bij de model familie.
KSampler
ComfyUI core
KSampler voert de denoising-lus uit: het neemt het model, prompts en een latent en maakt de afgewerkte latente afbeelding, gestuurd door seed, stappen, cfg, sampler, scheduler en denoise.
Apply ControlNet
ComfyUI core
Apply ControlNet koppelt een gidsafbeelding en een geladen ControlNet aan de positieve en negatieve CONDITIONING met sterkte en start/eind percentages, zodat de sampler de randen, diepte of pose van de gids volgt.
Meer ComfyUI-nodes
CLIP Text Encode (Prompt)
ComfyUI core
CLIP Text Encode zet een tekstprompt om in CONDITIONING met de modeltekstencoder. Eén node bevat de positieve prompt, een tweede de negatieve prompt.
ComfyUI Manager
ComfyUI-Manager
ComfyUI Manager is de extensie die aangepaste node-pakketten en modellen installeert, bijwerkt en repareert vanuit de interface, ontbrekende nodes in geïmporteerde workflows oplost en je setup vastlegt.
Save Image
ComfyUI core
Save Image schrijft de IMAGE tensor als een PNG naar ComfyUI/output, met de hele workflow ingebed in de bestandsmetadata zodat je de afbeelding weer terug kunt slepen in ComfyUI om de grafiek te herstellen.
VAE Decode
ComfyUI core
VAE Decode zet de gesamplede LATENT om in een pixel IMAGE met de VAE; VAE Decode (Tiled) doet hetzelfde in tegels voor heel grote afbeeldingen.
Load Image
ComfyUI core
Load Image leest een afbeelding uit de ComfyUI inputmap (of een upload) en geeft een IMAGE tensor plus een MASK uit de alfakanaal, het startpunt voor img2img, inpainting, ControlNet en IP-Adapter grafieken.
Load LoRA
ComfyUI core
Load LoRA (LoraLoader) past een LoRA-bestand toe op het MODEL en CLIP met aparte sterktes, zodat je een stijl, personage of concept kunt toevoegen aan elk checkpoint zonder het te mergen.