Model
.ai
오픈 AI 모델 추적

초보자를 위한 AI 영상 생성: 이미지-투-비디오, 텍스트-투-비디오 그리고 Wan, LTX-2, H3로 첫 클립 만들기

주제: 비디오 모델
작성자: Lookout
2026년 4월 29일 게시

개요

비디오 모델은 시간 축이 추가된 이미지 모델입니다: 같은 노이즈 제거 루프가 한 번에 여러 프레임 블록에 적용되므로, 프롬프트, 시드, 노이즈 제거에 대한 모든 지식이 그대로 적용되고 비용도 프레임 수만큼 늘어납니다.
초보자에게 실질적인 영향은 세 가지입니다. 이미지-투-비디오(I2V)부터 시작하세요. 이미지 모델에서 좋은 정지 이미지를 만들면 구도와 스타일이 고정되어 비디오 모델은 모션만 만들어내면 됩니다.
클립은 짧게 유지하세요(약 5초). 모델들이 주로 이 길이로 훈련되었기 때문입니다. 그리고 24GB 카드가 없다면 큰 모델은 클라우드에서 돌릴 것으로 예상하세요.

참고 자료

이름
타입
의미
I2V (image to video)
mode
정지 이미지를 움직이게 합니다. 가장 좋은 첫 모드: 구도는 이미 맞춰져 있고, 프롬프트는 모션만 설명합니다.
T2V (text to video)
mode
프롬프트만으로 생성합니다. 다양성은 높지만 제어는 적습니다; 아이디어나 B-롤에 사용하세요.
FLF2V / first-last frame
mode
두 개의 키프레임; 모델이 그 사이 모션을 채웁니다. 제어된 전환.
Frames and fps
setting
Wan: 16fps에 81프레임(5초); LTX-2: 24-25fps에 97-121프레임; H3: 약 24fps에 145프레임. 메모리는 프레임 수에 비례합니다.
Resolution
setting
Wan 2.2: 832x480 또는 480x832(빠름), 1280x720(24GB 이상); LTX-2는 32GB로 1080p 이상 가능. 인물은 세로, 장면은 가로.
Motion prompt
prompt
주제 모션 하나와 카메라 모션 하나: "그녀가 창문 쪽으로 돌며 미소 짓는다; 천천히 밀어넣기". 이미지에 이미 있는 장면 세부사항은 나열하지 마세요.
Steps / CFG / shift
setting
Wan 2.2 14B: 전문가별로 10/10 나눠 20스텝, CFG 3.5, 시프트 5; 5B: 20-30스텝, CFG 5; LTX-2: 자체 스케줄로 25-30스텝; 증류된 LoRA(lightx2v)는 Wan을 CFG 1에서 4-8스텝으로 줄여줍니다.
Motion LoRAs
file
카메라 움직임, 춤, 제스처, 물리 효과; 5B/14B와 전문가에 맞춰짐. 이 페이지에서 대상 이름 확인 가능.
Interpolation and upscale
post
RIFE 또는 FILM으로 32-60fps; 해상도는 프레임별 ESRGAN 또는 SeedVR 사용.

단계별 안내

  1. 정지 이미지 만들기 또는 고르기: 1024x1024 또는 832x1216 해상도, 주제가 명확하고 배경이 단순한 이미지. 얼굴이 프레임의 10분의 1 이상 크면 애니메이션 효과가 좋음.
  2. 이 사이트에서 Wan 2.2 I2V 모델 페이지를 열고 예제 모션 프롬프트 패턴을 복사한 뒤 실행 버튼 누르기(PirateDiffusion: 이미지에 /workflow 명령어로 답장; BitVector: 업로드 후 모델 선택).
  3. 주제와 카메라 각각 한 문장으로 모션 프롬프트 작성. 옷, 색상, 조명은 언급하지 말 것; 이미 이미지에 포함되어 있음.
  4. 832x480(가로) 또는 480x832(세로), 81프레임, 기본 스텝으로 생성. 클립 전체를 보고 선명도보다 모션을 평가.
  5. 모션 프롬프트만 반복 수정: 느린 동사("천천히", "부드럽게")는 불필요한 움직임을 줄임; 카메라 지시는 하나만 넣어 점프 현상 방지.
  6. 로컬에서 16GB 카드 사용 시: Wan 2.2 5B fp8 또는 GGUF, 832x480, 49-81프레임, 텍스트 인코더는 CPU 사용. 24GB 카드면 14B fp8 480p, 인코더 오프로딩 시 720p 가능. VRAM for AI video 가이드 참고.
  7. 더 긴 영상 만들기: 첫 클립 마지막 프레임을 두 번째 클립 시작 이미지로 사용하고 모션 프롬프트를 이어서 작성; 편집기로 합치고 마지막에 30fps로 보간 및 업스케일.
  8. 사운드 추가: LTX-2와 H3는 클립과 함께 오디오 생성; Wan은 편집기에서 음악이나 효과음 추가.

예시

I2V용 모션 프롬프트

Positive: she lifts the coffee cup, takes a sip and looks out of the window; slow push-in, shallow depth of field, natural motion
Negative (Wan): static, blurry, distorted face, extra fingers, jump cut, text

PirateDiffusion 워크플로우 명령어

/workflow /run:wan22-i2v she lifts the coffee cup and looks out of the window, slow push-in /length:81 (as a reply to the still)

16GB에서 ComfyUI Wan 2.2 5B

UnetLoaderGGUF wan2.2_ti2v_5B_Q8_0 | CLIPLoader umt5_xxl_fp8 (cpu) | Wan VAE 2.2 | WanImageToVideo 832x480, 81 frames | KSampler 24 steps, cfg 5, uni_pc, simple | VAE Decode (Tiled)

팁

  • 모션 동사가 형용사보다 중요함: "돌다, 걷다, 들다, 붓다, 흔들다"는 각각 뚜렷하고 신뢰할 수 있는 모션을 만듦; "아름다운 시네마틱"은 아무 효과 없음.
  • 클립당 카메라 움직임은 하나만: 밀어넣기, 당기기, 왼쪽 팬, 궤도 회전. 두 개 이상이면 흔들림 발생.
  • 세로 정지 이미지는 얼굴 애니메이션에 좋고, 가로 정지 이미지는 환경 애니메이션에 좋음.
  • Wan의 고노이즈 전문가용 LoRA는 모션을, 저노이즈 LoRA는 디테일을 조절함. 많은 팩에 둘 다 포함되어 있으며 각각 전문가에 로드.
  • 증류된 LoRA(lightx2v, FastWan)는 Wan을 20스텝에서 4-6스텝, CFG 1로 줄여 품질 손실 거의 없음; 모델 페이지에 목록 있음.
  • 4090에서 Wan 14B는 클립당 3-10분, LTX-2는 약 90초 예상; 클라우드는 대부분 1-2분 내에 결과 반환.

문제 해결

클립이 약간 흔들리는 정지 이미지임

원인
프롬프트에 모션 동사가 없거나 정적 LoRA 가중치가 너무 높음.

해결 방법
주제 모션과 카메라 모션 추가; LoRA 가중치를 0.7로 낮춤.

얼굴이 녹거나 정체성이 바뀜

원인
얼굴이 너무 작거나 프레임이 너무 많거나 480p에서 디테일한 얼굴.

해결 방법
더 가까이 자르기, 49-61프레임, 또는 클라우드에서 720p 사용; 프레임별 얼굴 디테일러는 최후 수단.

카메라 점프 또는 장면 컷

원인
카메라 지시가 두 개 이상이거나 프롬프트에 "cut to" 같은 단어 포함.

해결 방법
카메라 움직임 하나만; 부정 프롬프트에 "jump cut" 추가.

720p에서 메모리 부족

원인
프레임 수와 해상도가 VRAM 한도를 초과.

해결 방법
480p 이하 또는 프레임 수 줄이기, 텍스트 인코더 오프로딩; VRAM for AI video 가이드 참고.

모션 LoRA가 작동하지 않음

원인
잘못된 전문가나 모델 크기에 로드됨.

해결 방법
모델 페이지에서 5B/14B, 고/저 노이즈 확인 후 해당 트리거 단어로 로드.

질문

어떤 비디오 모델부터 시작할까?

Wan 2.2 I2V: 관대하고 문서가 잘 되어 있으며 LoRA가 가장 많음. Wan 시작 가이드에 전체 설정법 있음.

8GB 카드로도 가능한가?

Wan 2.1 1.3B 또는 Wan 2.2 5B GGUF로 짧은 480p 클립은 가능하지만 느림. 현실적으로는 클라우드부터 시작하는 게 좋음.

사운드는 어떻게 얻지?

LTX-2와 MiniMax H3는 동기화된 오디오 생성; Mark White의 H3 프롬프트 가이드에서 대화와 효과음 프롬프트 설명.

클립 길이는 얼마나 될 수 있나?

기본적으로 약 5초. 더 긴 영상은 클립을 연결해서 만듦; 한 번에 6-8초 넘으면 품질 저하.

최신 상용 모델(Veo, Kling, Wan 3.0)은 로컬에서 쓸 수 있나?

아니요; API 전용임. 이 가이드의 모든 모델은 오픈 웨이트로 로컬이나 클라우드 파트너에서 실행 가능.

이 가이드의 모델

작성자
망루에 앉아 Hugging Face를 새로 고치며 당신이 하지 않아도 되게 합니다. 새로운 모델이 나오면 바로 보고, 수정된 설정으로 조용히 다시 업로드되면 또 보고합니다. 한 번도 일찍 본 적이 없습니다. 출시 영상보다 라이선스 파일을 더 신뢰합니다.
Lookout의 모든 가이드

더 많은 가이드