Model
.ai
追踪开放 AI 模型

初学者的AI视频生成:图像到视频、文本到视频及使用Wan、LTX-2和H3制作第一个剪辑

主题:视频模型
作者:Lookout
发布于 2026年4月29日

概述

视频模型其实是带时间轴的图像模型:同一个去噪循环会同时处理一组帧,所以你对提示词、种子和去噪的理解都能用上,成本也会按帧数成倍增加。对初学者来说,实际影响有三点。先用图像到视频(I2V),因为一张好的静态图能确定构图和风格,视频模型只需专注于动作。保持剪辑短(大约五秒),因为模型训练时就是这个长度。除非你有24 GB显卡,否则大模型最好用云端。
2026年,三大开放模型系列满足大部分需求。Wan 2.2(阿里巴巴)是全能型:5B模型能在12-16 GB显存上运行,14B双专家模型质量最好,还有丰富的动作和风格LoRA生态。LTX-2(Lightricks)速度快还能生成同步音频,但需要24-32 GB显存。MiniMax H3是带对话和音效的音视频模型,主要通过托管流程使用;本站Mark White的H3提示指南讲得很详细。Hunyuan Video 1.5是Wan 14B的轻量替代。
目录列出了每个视频模型及其LoRA,标明基础模型和目标大小(5B或14B,高噪声或低噪声专家),模型页面展示了示例剪辑和提示词。运行按钮会在PirateDiffusion打开模型,你可以通过回复图片的工作流命令生成剪辑,或者在BitVector上传并选择模型。

参考

名称
类型
含义
I2V (image to video)
mode
让静态图动起来。最适合初学者:构图已经确定,提示词只描述动作。
T2V (text to video)
mode
只用提示词生成。变化多但控制少,适合找灵感和做B-roll。
FLF2V / first-last frame
mode
两个关键帧,模型补全中间动作。过渡受控。
Frames and fps
setting
Wan:81帧,16 fps(5秒);LTX-2:97-121帧,24-25 fps;H3:145帧,约24 fps。显存用量随帧数增加。
Resolution
setting
Wan 2.2:832x480或480x832(快),1280x720(24 GB及以上);LTX-2最高1080p+,需32 GB。人像用竖屏,场景用横屏。
Motion prompt
prompt
一个主体动作加一个摄像机动作:“她转向窗户微笑;慢慢推近”。避免列出图像已有的场景细节。
Steps / CFG / shift
setting
Wan 2.2 14B:20步,专家间10/10分配,CFG 3.5,shift 5;5B:20-30步,CFG 5;LTX-2:25-30步,使用自有调度;蒸馏LoRA(lightx2v)让Wan降到4-8步,CFG 1。
Motion LoRAs
file
摄像机移动、舞蹈、手势、物理效果;匹配5B/14B和专家。页面会标明目标。
Interpolation and upscale
post
用RIFE或FILM插帧到32-60 fps;用逐帧ESRGAN或SeedVR提升分辨率。

分步操作

  1. 制作或选一张静态图:1024x1024或832x1216,主体清晰,背景简单。脸部占画面超过十分之一的动画效果最好。
  2. 打开本站Wan 2.2 I2V模型页面,复制示例动作提示格式,点击运行按钮(PirateDiffusion:用/workflow命令回复你的图片;BitVector:上传并选模型)。
  3. 写一句描述主体动作和一句描述摄像机动作的提示词。不写衣服、颜色或光线,图像里已有。
  4. 生成832x480(横屏)或480x832(竖屏),81帧,默认步数。看完整剪辑,评价动作,不是清晰度。
  5. 只调整动作提示词:用慢动作词(“慢慢地”,“轻柔地”)减少乱动;只写一个摄像机动作防止跳帧。
  6. 本地用16 GB显卡:Wan 2.2 5B fp8或GGUF,832x480,49-81帧,文本编码器用CPU。24 GB显卡:14B fp8 480p,720p时编码器卸载。详见AI视频显存指南。
  7. 长视频:用第一段最后一帧做第二段起始图,动作提示词连贯;用编辑器拼接;最后插帧到30 fps并放大。
  8. 加音频:LTX-2和H3能同步生成音频;Wan用编辑器加音乐或音效。

示例

I2V的动作提示词示例

Positive: she lifts the coffee cup, takes a sip and looks out of the window; slow push-in, shallow depth of field, natural motion
Negative (Wan): static, blurry, distorted face, extra fingers, jump cut, text

PirateDiffusion工作流命令

/workflow /run:wan22-i2v she lifts the coffee cup and looks out of the window, slow push-in /length:81 (as a reply to the still)

ComfyUI Wan 2.2 5B 在16 GB显卡上运行

UnetLoaderGGUF wan2.2_ti2v_5B_Q8_0 | CLIPLoader umt5_xxl_fp8 (cpu) | Wan VAE 2.2 | WanImageToVideo 832x480, 81 frames | KSampler 24 steps, cfg 5, uni_pc, simple | VAE Decode (Tiled)

技巧

  • 动作动词比形容词重要:“转身、走路、举起、倒水、挥手”各有不同且稳定的动作;“美丽、电影感”没动作。
  • 每个剪辑一个摄像机动作:推近、拉远、左摇、环绕。两个动作会抖动。
  • 竖屏静态图更适合动画脸部,横屏更适合动画环境。
  • Wan高噪声专家的LoRA塑造动作,低噪声专家塑造细节。很多包都包含两者,分别加载到对应专家。
  • 蒸馏LoRA(lightx2v,FastWan)让Wan从20步降到4-6步,CFG 1,质量损失小;模型页面有列出。
  • 用4090显卡生成Wan 14B剪辑大约3-10分钟,LTX-2约90秒;云端大多数剪辑1-2分钟返回。

问题排查

剪辑像静止图但有轻微闪烁

原因
提示词里没动作动词,或者静态LoRA权重太高。

修复方法
加主体动作和摄像机动作;把LoRA权重降到0.7。

脸部变形或身份变化

原因
脸太小,帧数太多,或者480p下细节脸部。

修复方法
裁剪更近,帧数49-61,或云端720p;最后手段是逐帧脸部细节修复。

摄像机跳动或场景跳切

原因
提示词里有两个摄像机动作,或写了“cut to”等跳切词。

修复方法
只用一个摄像机动作;把“jump cut”放负面提示。

720p时显存不足

原因
帧数乘分辨率超显存。

修复方法
降到480p或更少帧数,卸载文本编码器;详见AI视频显存指南。

动作LoRA没效果

原因
加载到了错误的专家或模型大小。

修复方法
看模型页面确认5B/14B和高/低噪声,按触发词加载。

常见问题

先用哪个视频模型?

Wan 2.2 I2V:容错高,文档全,LoRA最多。Wan入门指南有完整设置。

8 GB显卡能用吗?

用Wan 2.1 1.3B或Wan 2.2 5B GGUF做短480p剪辑,速度慢。实际建议先用云端。

怎么弄声音?

LTX-2和MiniMax H3能生成同步音频;Mark White的H3提示指南讲对话和音效提示。

剪辑最长多久?

原生大约五秒。长视频用多段剪辑拼接;单次超过6-8秒质量会下降。

最新商用模型(Veo、Kling、Wan 3.0)能本地用吗?

不能;它们只提供API。本指南里的都是开源权重,可本地或云端运行。

本指南涉及的模型

作者
坐在瞭望塔上刷新 Hugging Face,让你不用操心。新模型一发布就报告,修复配置悄悄重新上传时也会报告。一次都没抢先过。更信任许可证文件胜过发布视频。
Lookout 的所有指南

更多指南