Nœud AnimateDiff Loader (Evolved) dans ComfyUI
AnimateDiff Loader ajoute un module de mouvement à un modèle SD 1.5 ou SDXL pour que un lot de latents soit rendu comme des images d'animation cohérentes, la méthode classique pour faire des clips courts à partir de texte avec Stable Diffusion.
Ce que fait AnimateDiff Loader (Evolved)
AnimateDiff insère des couches d'attention temporelle (un module de mouvement comme mm_sd_v15_v2, v3_sd15_mm ou AnimateLCM) dans l'UNet. Le pack ComfyUI-AnimateDiff-Evolved de Kosinkadink le propose sous forme d'AnimateDiff Loader (Gen1) et des nœuds plus récents Gen2 (Use Evolved Sampling, Apply AnimateDiff Model, Context Options). Le sampler traite alors un lot latent (16-32 images) comme une séquence, avec Context Options qui fait glisser une fenêtre de 16 images sur des clips plus longs.
Les Motion LoRAs ajoutent des panoramiques et zooms, et AnimateLCM ou le sampler LCM réduit le temps de rendu à quelques étapes. Les images sortent en lot IMAGE, que Video Combine de VideoHelperSuite transforme en MP4 ou GIF. Avec Wan, Hunyuan et LTX maintenant dispo, AnimateDiff reste populaire pour l'animation stylisée SD 1.5 et pour la vidéo-à-vidéo avec ControlNet.
Entrées
Nom | Type | Rôle |
|---|---|---|
model | MODEL | Un modèle checkpoint SD 1.5 (ou SDXL avec le module beta SDXL). |
model_name | COMBO | Module de mouvement depuis models/animatediff_models. |
beta_schedule | COMBO | sqrt_linear (AnimateDiff) pour la plupart des modules ; variantes lcm pour AnimateLCM. |
context_options | CONTEXT_OPTIONS | Paramètres optionnels de fenêtre glissante pour plus de 16 images. |
motion_lora | MOTION_LORA | LoRA de mouvement de caméra optionnel. |
Sorties
Nom | Type | Rôle |
|---|---|---|
MODEL | MODEL | Le modèle avec les couches de mouvement ; connecte-le à KSampler. |
Comment utiliser AnimateDiff Loader (Evolved)
- Installe ComfyUI-AnimateDiff-Evolved et ComfyUI-VideoHelperSuite depuis Manager ; télécharge mm_sd_v15_v2.ckpt ou v3_sd15_mm.ckpt dans models/animatediff_models.
- Charge un checkpoint SD 1.5 et connecte MODEL à AnimateDiff Loader.
- Régle Empty Latent Image batch_size à 16 (images) en 512x512 ou 512x768.
- Fais un échantillonnage avec 20-25 étapes, cfg 7, et décode avec VAE Decode.
- Connecte le lot IMAGE à Video Combine (frame_rate 8-12, format video/h264-mp4).
Réglages et conseils
- Context Options Looped Uniform avec context_length 16 et overlap 4 gère des clips de 32-64 images.
- Le scheduling de prompt (FizzNodes BatchPromptSchedule) change le prompt au fil du temps.
- Associe avec un ControlNet Tile ou Lineart sur les images vidéo pour du vidéo-à-vidéo.
- AnimateLCM avec le sampler LCM et 6-8 étapes rend beaucoup plus vite.
- Garde les résolutions entre 512 et 768 ; les modules de mouvement SD 1.5 ont été entraînés à 256-512.
Dépannage de AnimateDiff Loader (Evolved)
Les images sont sans rapport, pas de mouvement
Pourquoi cela arrive
Le loader n'est pas sur le chemin vers le sampler, ou la taille du lot est 1.
Comment le corriger
Connecte le MODEL du loader à KSampler et règle Empty Latent Image batch_size à 16 ou plus.
Erreur : module de mouvement incompatible avec le modèle (SD1.5 vs SDXL)
Pourquoi cela arrive
Un module de mouvement SD 1.5 avec un checkpoint SDXL ou l'inverse.
Comment le corriger
Utilise mm_sdxl_v10_beta avec SDXL, ou un checkpoint SD 1.5 avec les modules sd15.
Clignotements et changements de couleur entre les images
Pourquoi cela arrive
cfg élevé, prompt très détaillé, ou pas de recouvrement de contexte sur des clips longs.
Comment le corriger
cfg 6-7, overlap 4+, et ajoute un ControlNet Tile ou baisse le débruitage en vid2vid.
Manque de mémoire avec 32 images
Pourquoi cela arrive
Toutes les images sont échantillonnées ensemble ; la VRAM augmente avec la taille du lot.
Comment le corriger
Utilise Context Options (fenêtre de 16), baisse la résolution, ou démarre avec --lowvram.
Questions sur AnimateDiff Loader (Evolved)
Nœuds Gen1 ou Gen2 ?
Gen2 (Use Evolved Sampling + Apply AnimateDiff Model) est modulaire et supporte plus de fonctions ; Gen1 Loader est plus simple pour un premier clip.
AnimateDiff marche avec Flux ?
Non. Pour du texte-à-vidéo moderne, utilise Wan 2.x, HunyuanVideo ou LTX-Video avec leurs propres nœuds.
Nœuds liés
Video Combine (VideoHelperSuite)
ComfyUI-VideoHelperSuite
Video Combine transforme un lot d'images (frames) en MP4, WebM, GIF ou une séquence d'images à une fréquence d'images choisie, avec audio optionnel, nombre de boucles et ping-pong. C'est le nœud de sortie standard pour tous les flux vidéo.
Load Checkpoint
ComfyUI core
Load Checkpoint (CheckpointLoaderSimple) ouvre un fichier modèle .safetensors ou .ckpt et fournit les trois parties dont chaque workflow a besoin : le MODEL de diffusion, l'encodeur texte CLIP et le VAE.
Empty Latent Image
ComfyUI core
Empty Latent Image crée la toile latente vide (largeur, hauteur, batch_size) à partir de laquelle le sampling texte-image démarre ; les dimensions doivent être des multiples de 8 et correspondre à la famille du modèle.
KSampler
ComfyUI core
KSampler exécute la boucle de débruitage : il prend le modèle, les prompts et un latent, et produit l'image latente finale, contrôlée par la graine, les étapes, le cfg, le sampler, le scheduler et le débruitage.
Apply ControlNet
ComfyUI core
Apply ControlNet ajoute une image guide et un ControlNet chargé au CONDITIONING positif et négatif avec une force et des pourcentages de début/fin, pour que le sampler suive les contours, la profondeur ou la pose de l’image guide.
Autres nœuds ComfyUI
CLIP Text Encode (Prompt)
ComfyUI core
CLIP Text Encode transforme un prompt texte en CONDITIONING en utilisant l'encodeur texte du modèle. Un nœud contient le prompt positif, un autre le prompt négatif.
ComfyUI Manager
ComfyUI-Manager
ComfyUI Manager est l’extension qui installe, met à jour et répare les packs de nœuds personnalisés et les modèles directement depuis l’interface, résout les nœuds manquants dans les workflows importés et sauvegarde ta configuration.
Save Image
ComfyUI core
Save Image enregistre le tenseur IMAGE dans ComfyUI/output au format PNG, avec tout le workflow intégré dans les métadonnées du fichier pour que l’image puisse être glissée dans ComfyUI et restaurer le graphe.
VAE Decode
ComfyUI core
VAE Decode convertit le LATENT échantillonné en IMAGE pixelisée avec le VAE ; VAE Decode (Tiled) fait la même chose en tuiles pour les images très grandes.
Load Image
ComfyUI core
Load Image lit une image depuis le dossier d'entrée ComfyUI (ou un upload) et sort un tenseur IMAGE plus un MASK pris du canal alpha, le point de départ pour img2img, inpainting, ControlNet et IP-Adapter.
Load LoRA
ComfyUI core
Load LoRA (LoraLoader) applique un fichier LoRA au MODEL et au CLIP avec des forces séparées, pour que tu puisses ajouter un style, un personnage ou un concept à n'importe quel checkpoint sans fusionner.