Node AnimateDiff Loader (Evolved) trong ComfyUI
AnimateDiff Loader thêm một module chuyển động vào mô hình SD 1.5 hoặc SDXL để một lô latent được tạo thành các khung hình hoạt hình liên tục, cách làm truyền thống để tạo clip ngắn từ văn bản với Stable Diffusion.
AnimateDiff Loader (Evolved) làm gì
AnimateDiff chèn các lớp chú ý theo thời gian (một module chuyển động như mm_sd_v15_v2, v3_sd15_mm hoặc AnimateLCM) vào UNet. Gói ComfyUI-AnimateDiff-Evolved của Kosinkadink cung cấp nó dưới dạng AnimateDiff Loader (Gen1) và các node Gen2 mới hơn (Use Evolved Sampling, Apply AnimateDiff Model, Context Options). Bộ lấy mẫu sau đó xử lý một lô latent (16-32 khung hình) như một chuỗi, với Context Options trượt cửa sổ 16 khung hình qua các clip dài hơn.
Motion LoRAs thêm các hiệu ứng pan và zoom, và AnimateLCM hoặc bộ lấy mẫu LCM rút ngắn thời gian render chỉ còn vài bước. Các khung hình được xuất ra dưới dạng lô IMAGE, mà Video Combine từ VideoHelperSuite chuyển thành MP4 hoặc GIF. Với Wan, Hunyuan và LTX hiện có, AnimateDiff vẫn được ưa chuộng cho hoạt hình SD 1.5 phong cách và video-to-video với ControlNet.
Đầu vào
Tên | Kiểu | Ý nghĩa |
|---|---|---|
model | MODEL | Một mô hình checkpoint SD 1.5 (hoặc SDXL với module beta SDXL). |
model_name | COMBO | Module chuyển động từ models/animatediff_models. |
beta_schedule | COMBO | sqrt_linear (AnimateDiff) cho hầu hết module; các biến thể lcm cho AnimateLCM. |
context_options | CONTEXT_OPTIONS | Cài đặt cửa sổ trượt tùy chọn cho hơn 16 khung hình. |
motion_lora | MOTION_LORA | LoRA chuyển động camera tùy chọn. |
Đầu ra
Tên | Kiểu | Ý nghĩa |
|---|---|---|
MODEL | MODEL | Mô hình có các lớp chuyển động; kết nối với KSampler. |
Cách dùng AnimateDiff Loader (Evolved)
- Cài đặt ComfyUI-AnimateDiff-Evolved và ComfyUI-VideoHelperSuite từ Manager; tải mm_sd_v15_v2.ckpt hoặc v3_sd15_mm.ckpt vào models/animatediff_models.
- Tải một checkpoint SD 1.5 và kết nối MODEL với AnimateDiff Loader.
- Đặt Empty Latent Image batch_size thành 16 (khung hình) ở 512x512 hoặc 512x768.
- Lấy mẫu với 20-25 bước, cfg 7, và giải mã với VAE Decode.
- Kết nối lô IMAGE với Video Combine (frame_rate 8-12, định dạng video/h264-mp4).
Cài đặt và mẹo
- Context Options Looped Uniform với context_length 16 và overlap 4 xử lý clip 32-64 khung hình.
- Lập lịch prompt (FizzNodes BatchPromptSchedule) thay đổi prompt theo thời gian.
- Kết hợp với Tile hoặc Lineart ControlNet trên khung hình video cho video-to-video.
- AnimateLCM với bộ lấy mẫu LCM và 6-8 bước render nhanh hơn nhiều.
- Giữ độ phân giải từ 512-768; các module chuyển động SD 1.5 được huấn luyện ở 256-512.
Khắc phục sự cố AnimateDiff Loader (Evolved)
Các khung hình là hình ảnh không liên quan, không có chuyển động
Vì sao xảy ra
Loader không được kết nối tới sampler, hoặc batch size là 1.
Cách sửa
Kết nối loader MODEL với KSampler và đặt Empty Latent Image batch_size thành 16 hoặc hơn.
Lỗi: module chuyển động không tương thích với mô hình (SD1.5 vs SDXL)
Vì sao xảy ra
Module chuyển động SD 1.5 dùng với checkpoint SDXL hoặc ngược lại.
Cách sửa
Dùng mm_sdxl_v10_beta với SDXL, hoặc checkpoint SD 1.5 với các module sd15.
Nhấp nháy và đổi màu giữa các khung hình
Vì sao xảy ra
cfg cao, prompt quá chi tiết, hoặc không có chồng lấp context trên clip dài.
Cách sửa
cfg 6-7, overlap 4+, và thêm Tile ControlNet hoặc giảm denoise trong vid2vid.
Hết bộ nhớ với 32 khung hình
Vì sao xảy ra
Tất cả khung hình được lấy mẫu cùng lúc; VRAM tăng theo batch size.
Cách sửa
Dùng Context Options (cửa sổ 16), giảm độ phân giải, hoặc bắt đầu với --lowvram.
Câu hỏi về AnimateDiff Loader (Evolved)
Gen1 hay Gen2 nodes?
Gen2 (Use Evolved Sampling + Apply AnimateDiff Model) có cấu trúc mô-đun và hỗ trợ nhiều tính năng hơn; Gen1 Loader đơn giản hơn cho clip đầu tiên.
AnimateDiff có dùng được với Flux không?
Không. Để tạo video từ văn bản hiện đại, dùng Wan 2.x, HunyuanVideo hoặc LTX-Video với các node riêng của chúng.
Node liên quan
Video Combine (VideoHelperSuite)
ComfyUI-VideoHelperSuite
Video Combine biến một lô ảnh IMAGE thành MP4, WebM, GIF hoặc chuỗi ảnh theo tốc độ khung hình bạn chọn, có thể thêm âm thanh, số lần lặp và ping-pong, là node xuất chuẩn cho mọi quy trình video.
Load Checkpoint
ComfyUI core
Load Checkpoint (CheckpointLoaderSimple) mở một file model .safetensors hoặc .ckpt và cung cấp ba phần mà mọi workflow đều cần: MODEL diffusion, bộ mã hóa văn bản CLIP và VAE.
Empty Latent Image
ComfyUI core
Empty Latent Image tạo ra khung trống latent (chiều rộng, chiều cao, batch_size) mà việc lấy mẫu từ văn bản sang hình ảnh bắt đầu từ đó; kích thước phải là bội số của 8 và phù hợp với dòng model.
KSampler
ComfyUI core
KSampler chạy vòng lặp khử nhiễu: nó lấy model, prompt và latent rồi tạo ra latent ảnh hoàn chỉnh, được điều khiển bởi seed, steps, cfg, sampler, scheduler và denoise.
Apply ControlNet
ComfyUI core
Apply ControlNet gắn một ảnh hướng dẫn và một ControlNet đã tải vào CONDITIONING dương và âm với độ mạnh và phần trăm bắt đầu/kết thúc, để bộ lấy mẫu theo dõi các cạnh, độ sâu hoặc tư thế từ ảnh hướng dẫn.
Thêm node ComfyUI
CLIP Text Encode (Prompt)
ComfyUI core
CLIP Text Encode biến một đoạn văn bản thành CONDITIONING bằng cách dùng bộ mã hóa văn bản của mô hình. Một node giữ prompt tích cực, node kia giữ prompt tiêu cực.
ComfyUI Manager
ComfyUI-Manager
ComfyUI Manager là tiện ích mở rộng giúp cài đặt, cập nhật và sửa các gói node tùy chỉnh và mô hình ngay trong giao diện, giải quyết các node bị thiếu trong workflow nhập vào và lưu lại cấu hình của bạn.
Save Image
ComfyUI core
Save Image ghi tensor IMAGE thành file PNG trong ComfyUI/output, với toàn bộ quy trình làm việc được nhúng trong metadata của file để bạn có thể kéo ảnh đó trở lại ComfyUI và phục hồi lại đồ thị.
VAE Decode
ComfyUI core
VAE Decode chuyển LATENT đã lấy mẫu thành ảnh PIXEL bằng VAE; VAE Decode (Tiled) làm điều tương tự theo từng ô cho ảnh rất lớn.
Load Image
ComfyUI core
Load Image đọc một bức ảnh từ thư mục input của ComfyUI (hoặc từ file bạn tải lên) và xuất ra một tensor IMAGE cùng với một MASK lấy từ kênh alpha, điểm bắt đầu cho các đồ thị img2img, inpainting, ControlNet và IP-Adapter.
Load LoRA
ComfyUI core
Load LoRA (LoraLoader) áp dụng một file LoRA lên MODEL và CLIP với mức độ riêng biệt, để bạn có thể thêm phong cách, nhân vật hoặc ý tưởng vào bất kỳ checkpoint nào mà không cần gộp chung.