AnimateDiff Loader (Evolved)-Node in ComfyUI
AnimateDiff Loader fügt einem SD 1.5- oder SDXL-Modell ein Bewegungsmodul hinzu, sodass ein Batch von Latents als zusammenhängende Animationsbilder gerendert wird – der klassische Weg, um kurze Clips aus Text mit Stable Diffusion zu erstellen.
Was AnimateDiff Loader (Evolved) macht
AnimateDiff fügt dem UNet zeitliche Aufmerksamkeits-Schichten (ein Bewegungsmodul wie mm_sd_v15_v2, v3_sd15_mm oder AnimateLCM) hinzu. Das ComfyUI-AnimateDiff-Evolved-Paket von Kosinkadink stellt es als AnimateDiff Loader (Gen1) und die neueren Gen2-Knoten (Use Evolved Sampling, Apply AnimateDiff Model, Context Options) bereit. Der Sampler behandelt dann einen Latent-Batch (16-32 Frames) als Sequenz, wobei Context Options ein 16-Frames-Fenster über längere Clips schiebt.
Motion LoRAs fügen Kameraschwenks und Zooms hinzu, und AnimateLCM oder der LCM-Sampler verkürzen die Renderzeit auf wenige Schritte. Die Frames kommen als IMAGE-Batch heraus, den Video Combine aus VideoHelperSuite in eine MP4 oder GIF umwandelt. Mit Wan, Hunyuan und LTX, die jetzt verfügbar sind, bleibt AnimateDiff beliebt für stilisierte SD 1.5-Animationen und Video-zu-Video mit ControlNet.
Eingänge
Name | Typ | Bedeutung |
|---|---|---|
model | MODEL | Ein SD 1.5 (oder SDXL mit dem SDXL Beta-Modul) Checkpoint-Modell. |
model_name | COMBO | Bewegungsmodul aus models/animatediff_models. |
beta_schedule | COMBO | sqrt_linear (AnimateDiff) für die meisten Module; lcm-Varianten für AnimateLCM. |
context_options | CONTEXT_OPTIONS | Optionale Einstellungen für das Schiebefenster bei mehr als 16 Frames. |
motion_lora | MOTION_LORA | Optionale Kamera-Bewegungs-LoRA. |
Ausgänge
Name | Typ | Bedeutung |
|---|---|---|
MODEL | MODEL | Das Modell mit Bewegungsschichten; verbinde es mit KSampler. |
So verwendest du AnimateDiff Loader (Evolved)
- Installiere ComfyUI-AnimateDiff-Evolved und ComfyUI-VideoHelperSuite über den Manager; lade mm_sd_v15_v2.ckpt oder v3_sd15_mm.ckpt in models/animatediff_models.
- Lade einen SD 1.5 Checkpoint und verbinde MODEL mit AnimateDiff Loader.
- Setze Empty Latent Image batch_size auf 16 (Frames) bei 512x512 oder 512x768.
- Sample mit 20-25 Schritten, cfg 7, und dekodiere mit VAE Decode.
- Verbinde den IMAGE-Batch mit Video Combine (frame_rate 8-12, Format video/h264-mp4).
Einstellungen und Tipps
- Context Options Looped Uniform mit context_length 16 und overlap 4 funktioniert gut für 32-64 Frame Clips.
- Prompt Scheduling (FizzNodes BatchPromptSchedule) ändert den Prompt über die Zeit.
- Kombiniere es mit einem Tile- oder Lineart-ControlNet auf Video-Frames für Video-zu-Video.
- AnimateLCM mit dem LCM-Sampler und 6-8 Schritten rendert viel schneller.
- Halte die Auflösung bei 512-768; die SD 1.5 Bewegungsmodule wurden bei 256-512 trainiert.
Fehlerbehebung bei AnimateDiff Loader (Evolved)
Frames sind unabhängige Bilder, keine Bewegung
Warum es passiert
Der Loader ist nicht im Pfad zum Sampler oder die Batch-Größe ist 1.
So behebst du es
Verbinde den Loader MODEL mit KSampler und setze Empty Latent Image batch_size auf 16 oder mehr.
Fehler: Bewegungsmodul ist inkompatibel mit dem Modell (SD1.5 vs SDXL)
Warum es passiert
Ein SD 1.5 Bewegungsmodul mit einem SDXL Checkpoint oder umgekehrt.
So behebst du es
Nutze mm_sdxl_v10_beta mit SDXL oder einen SD 1.5 Checkpoint mit den sd15 Modulen.
Flackern und Farbverschiebungen zwischen Frames
Warum es passiert
Hoher cfg-Wert, sehr detaillierter Prompt oder kein Kontext-Overlap bei langen Clips.
So behebst du es
cfg 6-7, overlap 4+ und füge ein Tile ControlNet hinzu oder reduziere das Denoising bei vid2vid.
Nicht genug Speicher bei 32 Frames
Warum es passiert
Alle Frames werden zusammen gesampelt; VRAM skaliert mit der Batch-Größe.
So behebst du es
Nutze Context Options (Fenster von 16), reduziere die Auflösung oder starte mit --lowvram.
Fragen zu AnimateDiff Loader (Evolved)
Gen1 oder Gen2 Knoten?
Gen2 (Use Evolved Sampling + Apply AnimateDiff Model) ist modular und unterstützt mehr Features; Gen1 Loader ist einfacher für den ersten Clip.
Funktioniert AnimateDiff mit Flux?
Nein. Für modernes Text-zu-Video nutze Wan 2.x, HunyuanVideo oder LTX-Video mit ihren eigenen Knoten.
Verwandte Nodes
Video Combine (VideoHelperSuite)
ComfyUI-VideoHelperSuite
Video Combine verwandelt einen IMAGE-Stapel von Frames in eine MP4-, WebM-, GIF- oder Bildsequenz mit einer gewählten Bildrate, optional mit Audio, Schleifenanzahl und Ping-Pong-Effekt. Es ist der Standard-Ausgabeknoten für jeden Video-Workflow.
Load Checkpoint
ComfyUI core
Load Checkpoint (CheckpointLoaderSimple) öffnet eine .safetensors- oder .ckpt-Modell-Datei und liefert die drei Teile, die jeder Workflow braucht: das Diffusions-MODELL, den CLIP-Textencoder und das VAE.
Empty Latent Image
ComfyUI core
Empty Latent Image erstellt die leere latente Leinwand (Breite, Höhe, batch_size), von der das Text-zu-Bild-Sampling startet; die Dimensionen müssen Vielfache von 8 sein und zur Modellfamilie passen.
KSampler
ComfyUI core
KSampler führt die Denoising-Schleife aus: Es nimmt das Modell, die Prompts und ein Latent und erzeugt das fertige latente Bild, gesteuert durch Seed, Schritte, cfg, Sampler, Scheduler und Denoise.
Apply ControlNet
ComfyUI core
Apply ControlNet hängt ein Leitbild und ein geladenes ControlNet an das positive und negative CONDITIONING an, mit Stärke und Start-/End-Prozentwerten, damit der Sampler Kanten, Tiefe oder Pose vom Leitbild folgt.
Weitere ComfyUI-Nodes
CLIP Text Encode (Prompt)
ComfyUI core
CLIP Text Encode wandelt einen Textprompt mit dem Modell-Textencoder in CONDITIONING um. Ein Node hält den positiven Prompt, ein zweiter den negativen Prompt.
ComfyUI Manager
ComfyUI-Manager
ComfyUI Manager ist die Erweiterung, die benutzerdefinierte Node-Pakete und Modelle direkt in der Oberfläche installiert, aktualisiert und repariert, fehlende Nodes in importierten Workflows erkennt und deine Einrichtung sichert.
Save Image
ComfyUI core
Save Image speichert den IMAGE-Tensor als PNG in ComfyUI/output und bettet den gesamten Workflow in die Dateimetadaten ein, sodass das Bild zurück in ComfyUI gezogen werden kann, um den Graph wiederherzustellen.
VAE Decode
ComfyUI core
VAE Decode wandelt den gesampelten LATENT mit dem VAE in ein Pixel-BILD um; VAE Decode (Tiled) macht das Gleiche in Kacheln für sehr große Bilder.
Load Image
ComfyUI core
Load Image lädt ein Bild aus dem ComfyUI-Eingabeordner (oder einem Upload) und gibt einen IMAGE-Tensor plus eine MASKE aus, die aus dem Alphakanal stammt. Das ist der Startpunkt für img2img, Inpainting, ControlNet und IP-Adapter-Graphen.
Load LoRA
ComfyUI core
Load LoRA (LoraLoader) lädt eine LoRA-Datei und wendet sie mit separaten Stärken auf MODEL und CLIP an, sodass ein Stil, Charakter oder Konzept zu jedem Checkpoint hinzugefügt werden kann, ohne ihn zu verschmelzen.