ComfyUI의 AnimateDiff Loader (Evolved) 노드
AnimateDiff Loader는 SD 1.5나 SDXL 모델에 모션 모듈을 추가해서, 여러 개의 잠재 벡터를 일관된 애니메이션 프레임으로 렌더링해 줘. Stable Diffusion으로 텍스트에서 짧은 클립을 만드는 전통적인 방법이야.
AnimateDiff Loader (Evolved)이(가) 하는 일
AnimateDiff는 UNet에 시간적 어텐션 레이어(모션 모듈, 예를 들어 mm_sd_v15_v2, v3_sd15_mm 또는 AnimateLCM)를 삽입해. Kosinkadink의 ComfyUI-AnimateDiff-Evolved 팩은 이를 AnimateDiff Loader (Gen1)와 최신 Gen2 노드(Use Evolved Sampling, Apply AnimateDiff Model, Context Options)로 제공해. 샘플러는 잠재 벡터 배치(16-32 프레임)를 시퀀스로 처리하고, Context Options는 16프레임 창을 긴 클립에 걸쳐 슬라이딩해.
Motion LoRA는 팬과 줌을 추가하고, AnimateLCM이나 LCM 샘플러는 렌더 시간을 몇 단계로 줄여줘. 프레임은 IMAGE 배치로 나오고, VideoHelperSuite의 Video Combine이 이를 MP4나 GIF로 변환해. Wan, Hunyuan, LTX가 나오면서 AnimateDiff는 스타일리시한 SD 1.5 애니메이션과 ControlNet을 이용한 비디오-투-비디오에 여전히 인기야.
입력
이름 | 타입 | 의미 |
|---|---|---|
model | MODEL | SD 1.5 (또는 SDXL 베타 모듈이 있는 SDXL) 체크포인트 모델. |
model_name | COMBO | models/animatediff_models 폴더에 있는 모션 모듈. |
beta_schedule | COMBO | 대부분 모듈에 sqrt_linear (AnimateDiff); AnimateLCM에는 lcm 변형. |
context_options | CONTEXT_OPTIONS | 16프레임 이상일 때 선택 가능한 슬라이딩 윈도우 설정. |
motion_lora | MOTION_LORA | 선택 사항인 카메라 모션 LoRA. |
출력
이름 | 타입 | 의미 |
|---|---|---|
MODEL | MODEL | 모션 레이어가 추가된 모델; KSampler에 연결해. |
AnimateDiff Loader (Evolved) 사용법
- Manager에서 ComfyUI-AnimateDiff-Evolved와 ComfyUI-VideoHelperSuite 설치; models/animatediff_models에 mm_sd_v15_v2.ckpt 또는 v3_sd15_mm.ckpt 다운로드.
- SD 1.5 체크포인트 불러오고 MODEL을 AnimateDiff Loader에 연결.
- Empty Latent Image의 batch_size를 512x512 또는 512x768에서 16(프레임)으로 설정.
- 20-25 스텝, cfg 7로 샘플링하고 VAE Decode로 디코딩.
- IMAGE 배치를 Video Combine에 연결(프레임 속도 8-12, 형식 video/h264-mp4).
설정과 팁
- Context Options의 Looped Uniform에서 context_length 16, overlap 4 설정하면 32-64 프레임 클립 처리 가능.
- Prompt scheduling(FizzNodes BatchPromptSchedule)으로 시간에 따라 프롬프트 변경 가능.
- 비디오 프레임에 Tile 또는 Lineart ControlNet을 함께 써서 비디오-투-비디오 작업 가능.
- AnimateLCM과 LCM 샘플러, 6-8 스텝 조합은 훨씬 빠른 렌더링.
- 해상도는 512-768로 유지; SD 1.5 모션 모듈은 256-512에서 훈련됨.
AnimateDiff Loader (Evolved) 문제 해결
프레임들이 서로 관련 없는 그림, 모션 없음
원인
로더가 샘플러 경로에 없거나 배치 크기가 1임.
해결 방법
로더 MODEL을 KSampler에 연결하고 Empty Latent Image batch_size를 16 이상으로 설정해.
오류: 모션 모듈과 모델이 호환되지 않음 (SD1.5 vs SDXL)
원인
SD 1.5 모션 모듈을 SDXL 체크포인트와 쓰거나 그 반대.
해결 방법
SDXL에는 mm_sdxl_v10_beta 사용, SD 1.5 체크포인트에는 sd15 모듈 사용.
프레임 간 깜빡임과 색상 변화
원인
높은 cfg, 너무 상세한 프롬프트, 긴 클립에 컨텍스트 겹침 없음.
해결 방법
cfg 6-7, overlap 4 이상, Tile ControlNet 추가하거나 vid2vid에서 노이즈 감소 낮춤.
32프레임에서 메모리 부족
원인
모든 프레임을 한꺼번에 샘플링해서 VRAM 사용량이 배치 크기에 비례.
해결 방법
Context Options(16 프레임 윈도우) 사용, 해상도 낮추거나 --lowvram으로 시작.
AnimateDiff Loader (Evolved)에 관한 질문
Gen1 아니면 Gen2 노드?
Gen2(Use Evolved Sampling + Apply AnimateDiff Model)는 모듈식이고 기능이 더 많아; Gen1 Loader는 첫 클립 만들기에 더 간단해.
AnimateDiff가 Flux에서 작동하나?
아니. 최신 텍스트-투-비디오에는 Wan 2.x, HunyuanVideo, LTX-Video와 그들만의 노드를 써야 해.
관련 노드
Video Combine (VideoHelperSuite)
ComfyUI-VideoHelperSuite
Video Combine은 프레임 이미지 배치를 선택한 프레임 속도로 MP4, WebM, GIF 또는 이미지 시퀀스로 변환해 줘. 오디오, 반복 횟수, 핑퐁 재생도 옵션으로 넣을 수 있어. 모든 비디오 작업 흐름에서 기본 출력 노드로 쓰여.
Load Checkpoint
ComfyUI core
Load Checkpoint (CheckpointLoaderSimple)는 .safetensors 또는 .ckpt 모델 파일을 열고, 워크플로우에서 필요한 세 가지 부분인 diffusion MODEL, CLIP 텍스트 인코더, VAE를 제공합니다.
Empty Latent Image
ComfyUI core
Empty Latent Image는 텍스트-이미지 샘플링이 시작되는 빈 잠재 캔버스(가로, 세로, 배치 크기)를 만듭니다; 크기는 8의 배수여야 하고 모델 패밀리와 맞아야 해요.
KSampler
ComfyUI core
KSampler는 노이즈 제거 과정을 실행해. 모델, 프롬프트, 그리고 잠재(latent)를 받아서 완성된 잠재 이미지를 만들어내지. 시드, 스텝, cfg, 샘플러, 스케줄러, 그리고 노이즈 제거 정도로 조절할 수 있어.
Apply ControlNet
ComfyUI core
Apply ControlNet은 가이드 이미지와 로드된 ControlNet을 양수 및 음수 CONDITIONING에 강도와 시작/종료 비율로 붙여서 샘플러가 가이드의 가장자리, 깊이 또는 포즈를 따라가도록 해줘.
더 많은 ComfyUI 노드
CLIP Text Encode (Prompt)
ComfyUI core
CLIP Text Encode는 텍스트 프롬프트를 모델 텍스트 인코더를 사용해 CONDITIONING으로 바꿔줘. 한 노드는 긍정 프롬프트를, 다른 노드는 부정 프롬프트를 담아.
ComfyUI Manager
ComfyUI-Manager
ComfyUI Manager는 인터페이스 안에서 커스텀 노드 팩과 모델을 설치, 업데이트, 수정해주고, 불러온 워크플로우에서 누락된 노드를 해결하며 설정을 스냅샷으로 저장하는 확장 기능이야.
Save Image
ComfyUI core
Save Image는 IMAGE 텐서를 ComfyUI/output에 PNG로 저장해. 파일 메타데이터에 전체 워크플로우가 들어가 있어서, 나중에 그 그림을 ComfyUI에 다시 끌어다 놓으면 그래프를 복원할 수 있어.
VAE Decode
ComfyUI core
VAE Decode는 샘플링된 LATENT를 VAE를 사용해 픽셀 IMAGE로 변환해 줘; VAE Decode (Tiled)는 아주 큰 이미지에 대해 타일 단위로 같은 작업을 해.
Load Image
ComfyUI core
Load Image는 ComfyUI 입력 폴더(또는 업로드)에서 이미지를 불러와서 IMAGE 텐서와 알파 채널에서 추출한 MASK를 출력해. 이 MASK는 img2img, 인페인팅, ControlNet, IP-Adapter 그래프의 시작점이야.
Load LoRA
ComfyUI core
Load LoRA (LoraLoader)는 MODEL과 CLIP에 각각 다른 강도로 LoRA 파일을 적용해서, 스타일이나 캐릭터, 컨셉을 어떤 체크포인트에도 병합 없이 추가할 수 있어.