Wan 2.2 Animate ComfyUI-Workflow: Charakteraustausch und Pose-Übertragung aus einem Video
Überblick
Wan 2.2 Animate nimmt ein Video und ein Bild. Im Move-Modus führt die Figur aus dem Bild die Bewegung des Videos aus, wobei der Ausdruck Bild für Bild kopiert wird; im Mix-Modus wird die Figur anstelle der ursprünglichen Person ins Video eingefügt und passend beleuchtet. Das ist die komplexeste Vorlage des Teams: vierzig Nodes, darunter Pose-Schätzung (DWPose), ein Segmentierungsmodell (SAM2) mit einem Punkteditor zum Markieren der Person und eine Erweiterungsgruppe, die den Clip in 77-Frame-Stücken fortsetzt.
Im Gegensatz zu anderen Workflows auf dieser Seite braucht es drei benutzerdefinierte Node-Pakete: comfyui_controlnet_aux (DWPose), ComfyUI-KJNodes und ComfyUI-segment-anything-2. ComfyUI Manager installiert alle drei mit "Install Missing Custom Nodes". Das Modell ist Kijais fp8 skaliertes Animate 14B, das lightx2v 4-Schritte-LoRA hält die Laufzeit niedrig und ein Relight-LoRA passt die Beleuchtung im Mix-Modus an. Die Vorlage begrenzt die Eingabegröße absichtlich: Die Vorverarbeitung eines großen Videos dauert sehr lange.
Gehostet auf ModelTrends.ai: die Vorlage video_wan2_2_14B_animate.json, unverändert.
Bilder und Clips
The ComfyUI team's launch clip for this model
Wan 2.2 Animate ComfyUI workflow: the workflow as it opens in ComfyUI
Wan 2.2 Animate ComfyUI workflow: the template's input picture
Wan 2.2 Animate ComfyUI workflow: the nodes to check, step by step
Wan 2.2 Animate ComfyUI workflow: inside the subgraph
Referenz
Name | Typ | Bedeutung |
|---|---|---|
Wan2_2-Animate-14B_fp8_e4m3fn_scaled_KJ.safetensors | models/diffusion_models | |
lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors | models/loras | Das 4-Schritte-Distillation-LoRA. Kijai/WanVideo_comfy, Lightx2v-Ordner. |
WanAnimate_relight_lora_fp16.safetensors | models/loras | Beleuchtet die eingefügte Figur im Mix-Modus neu. Kijai/WanVideo_comfy, LoRAs/Wan22_relight. |
umt5_xxl_fp8_e4m3fn_scaled.safetensors | models/text_encoders | Der Wan-Textencoder, genutzt von allen Wan 2.1 und 2.2 Workflows. Von Comfy-Org/Wan_2.1_ComfyUI_repackaged auf Hugging Face. |
wan_2.1_vae.safetensors | models/vae | |
clip_vision_h.safetensors | models/clip_vision | Liest das Startbild für Bild-zu-Video. Comfy-Org/Wan_2.1_ComfyUI_repackaged. |
Custom nodes | comfyui_controlnet_aux, ComfyUI-KJNodes, ComfyUI-segment-anything-2 | |
Load Video / Load Image | reference video, character picture | Das Video liefert die Bewegung (und die Szene im Mix-Modus); das Bild liefert die Figur. |
Points Editor | green and red points | Shift+Klick fügt grüne Punkte auf der zu ersetzenden Person hinzu, rote Punkte markieren, was unverändert bleiben soll. |
Wo die Dateien hinkommen
Leg jeden Download in diesen Ordner deiner ComfyUI-Installation. Ein Loader-Node listet nur die Dateien, die im Ordner liegen, den er liest, also erscheint ein Modell im falschen Ordner als fehlend.
ComfyUI/├───📂 models/│ ├───📂 diffusion_models/│ │ ├─── Wan2_2-Animate-14B_fp8_e4m3fn_scaled_KJ.safetensors│ │ └─── wan2.2_animate_14B_bf16.safetensors│ ├───📂 loras/│ │ └─── lightx2v_I2V_14B_480p_cfg_step_distill_rank64_bf16.safetensors│ ├───📂 text_encoders/│ │ └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors│ ├───📂 clip_visions/│ │ └─── clip_vision_h.safetensors│ └───📂 vae/│ └── wan_2.1_vae.safetensors
Schritt für Schritt
- ComfyUI aktualisieren (Desktop: Hilfe > Nach Updates suchen; portable: update_comfyui.bat ausführen). Diese Workflows brauchen eine Version von 2025 oder neuer.
- Die Workflow-Datei unten herunterladen und auf die ComfyUI-Leinwand ziehen oder Workflow > Öffnen nutzen. Die Nodes erscheinen mit bereits ausgefüllten Dateinamen.
- ComfyUI Manager öffnen, Install Missing Custom Nodes wählen, die drei Pakete installieren und ComfyUI neu starten.
- Alle Dateien aus der Tabelle herunterladen und in den dort angegebenen Ordner legen. Wenn ein Modell-Widget rot umrandet ist, stimmt der Name nicht mit einer Datei im Ordner überein: Klick darauf und die heruntergeladene Datei auswählen.
- Das Referenzvideo und das Charakterbild laden. Den Image Scale Node klein halten (Standard der Vorlage), bis du die Laufzeit kennst.
- Einmal ausführen: Der erste Frame erscheint im Points Editor. Shift+Klick auf grüne Punkte auf der zu verfolgenen Person setzen; rote Punkte auf Dinge, die bleiben sollen.
- Mix-Modus (Person im Video ersetzen) ist Standard. Für Move-Modus (deine Figur führt die Bewegung selbst aus) Background_video und Character_mask vom WanAnimateToVideo-Node trennen, wie der Hinweis im Workflow sagt; nur umgehen reicht nicht.
- Run drücken (Strg+Enter). Der erste Lauf lädt die Modelle und dauert am längsten; spätere Läufe nutzen sie wieder. Ein 77-Frame-Stück in Standardgröße dauert ein paar Minuten auf einer 24-GB-Karte.
- Für längere Clips die Erweiterungsgruppe kopieren und Batch images sowie video_frame_offset mit der nächsten Kopie verbinden, wie der Hinweis in der Vorlage zeigt.
Beispiele
Die Vorlage Prompt
The character is dancing in the room
Tipps
- Breite und Höhe müssen Vielfache von 16 für WanAnimateToVideo sein; die Vorlage weist darauf hin.
- Ein Referenzvideo mit einer Person, ruhiger Kamera und ganzem Körper im Bild liefert DWPose das sauberste Skelett.
- Das Charakterbild sollte zum Bildausschnitt des Videos passen (Ganzkörper für Tanz, Brustbild für sprechenden Kopf).
- Wenn SAM2 die falsche Person auswählt, einen roten Punkt auf diese setzen und einen zweiten grünen Punkt auf deine Figur.
Fehlerbehebung
Rote Nodes nach dem Laden
Warum es passiert
Eines der drei benutzerdefinierten Node-Pakete fehlt.
So behebst du es
Manager > Install Missing Custom Nodes, neu starten. Wenn DWPose-Downloads fehlschlagen, listet die README von comfyui_controlnet_aux die Modell-Dateien zum manuellen Platzieren auf.
Vorverarbeitung endet nie
Warum es passiert
Das Eingabevideo ist zu groß.
So behebst du es
Den Image Scale Node auf 640 an der langen Seite reduzieren und das Video zuerst auf ein paar Sekunden kürzen.
CUDA out of memory
Warum es passiert
Das Modell plus der latente Speicher passt nicht auf die Karte.
So behebst du es
Zuerst Breite, Höhe oder Frame-Anzahl reduzieren; eine fp8- oder GGUF-Version des Diffusionsmodells wählen; weight_dtype in Load Diffusion Model auf fp8 setzen; andere GPU-Programme schließen. Die VRAM-Guides auf dieser Seite geben Zahlen pro Karte.
Die Maske bedeckt die falsche Person
Warum es passiert
Punkte sind auf der falschen Person.
So behebst du es
Roten Punkt auf die falsche Person, grüne Punkte auf deine Figur setzen, erneut ausführen.
Fragen
Was ist der Unterschied zwischen Mix und Move?
Mix ersetzt die Person im Originalvideo, behält den Hintergrund und beleuchtet die Figur neu. Move animiert deine Figur selbst mit der Bewegung und dem Ausdruck des Videos.
Brauche ich alle drei benutzerdefinierten Node-Pakete?
Ja: DWPose kommt von comfyui_controlnet_aux, SAM2 von ComfyUI-segment-anything-2 und mehrere Helfer von KJNodes.
Wie lang kann der Clip sein?
77 Frames pro Stück; die Erweiterungsgruppe verbindet die Stücke, jedes beginnt am Ende des vorherigen.
Links und Quellen
- The ComfyUI blog post
- ComfyUI Wan 2.2 Animate tutorial
- Kijai WanVideo models
- Wan models on ModelTrends.ai
Modelle in dieser Anleitung
Geschrieben von
Leitet dieses Schiff. Hat Meinungen zu VAE-Dekodierzeiten, die niemand gefragt hat. Glaubt, dass Gewichte frei sein wollen und dass jedes Modell, das du nicht herunterladen kannst, ein Abo mit Extra-Schritten ist. Wird keine Fragen zu den 400 GB Checkpoints auf dem NAS beantworten.
Alle Anleitungen von Captain
Verwandte Anleitungen
Wan 2.2 14B Bild-zu-Video ComfyUI Workflow: der beste offene Foto-zu-Clip Graph
9. Okt 2026
Wan 2.2 14B Text-zu-Video ComfyUI Workflow: zwei Modelle, ein 4-Schritte LoRA, kinoreife Bewegung
9. Okt 2026
ComfyUI-Fehler und wie man sie behebt: rote Knoten, fehlende Modelle, CUDA-Speicher voll
12. Mai 2026
Weitere Anleitungen
Wan 2.2 5B ComfyUI Workflow: 720p Text- oder Bild-zu-Video auf einer Mittelklasse-Grafikkarte
9. Okt 2026
Wan 2.1 Bild-zu-Video (480p, 14B) ComfyUI Workflow: Ein Foto animieren
9. Okt 2026
Wan 2.1 Text-zu-Video (1.3B) ComfyUI-Workflow: dein erstes lokales Video auf einer 8-GB-Karte
9. Okt 2026
Wan 2.2 Video: Text-zu-Video und Bild-zu-Video Setup, Einstellungen und LoRAs
24. Mai 2026
LTX-2 Bild-zu-Video ComfyUI Workflow: Ein Standbild mit synchronisiertem Ton animieren
9. Okt 2026