初学者的AI视频生成:图像到视频、文本到视频及使用Wan、LTX-2和H3制作第一个剪辑
概述
视频模型其实是带时间轴的图像模型:同一个去噪循环会同时处理一组帧,所以你对提示词、种子和去噪的理解都能用上,成本也会按帧数成倍增加。对初学者来说,实际影响有三点。先用图像到视频(I2V),因为一张好的静态图能确定构图和风格,视频模型只需专注于动作。保持剪辑短(大约五秒),因为模型训练时就是这个长度。除非你有24 GB显卡,否则大模型最好用云端。
2026年,三大开放模型系列满足大部分需求。Wan 2.2(阿里巴巴)是全能型:5B模型能在12-16 GB显存上运行,14B双专家模型质量最好,还有丰富的动作和风格LoRA生态。LTX-2(Lightricks)速度快还能生成同步音频,但需要24-32 GB显存。MiniMax H3是带对话和音效的音视频模型,主要通过托管流程使用;本站Mark White的H3提示指南讲得很详细。Hunyuan Video 1.5是Wan 14B的轻量替代。
目录列出了每个视频模型及其LoRA,标明基础模型和目标大小(5B或14B,高噪声或低噪声专家),模型页面展示了示例剪辑和提示词。运行按钮会在PirateDiffusion打开模型,你可以通过回复图片的工作流命令生成剪辑,或者在BitVector上传并选择模型。
参考
名称 | 类型 | 含义 |
|---|---|---|
I2V (image to video) | mode | 让静态图动起来。最适合初学者:构图已经确定,提示词只描述动作。 |
T2V (text to video) | mode | 只用提示词生成。变化多但控制少,适合找灵感和做B-roll。 |
FLF2V / first-last frame | mode | 两个关键帧,模型补全中间动作。过渡受控。 |
Frames and fps | setting | |
Resolution | setting | Wan 2.2:832x480或480x832(快),1280x720(24 GB及以上);LTX-2最高1080p+,需32 GB。人像用竖屏,场景用横屏。 |
Motion prompt | prompt | 一个主体动作加一个摄像机动作:“她转向窗户微笑;慢慢推近”。避免列出图像已有的场景细节。 |
setting | Wan 2.2 14B:20步,专家间10/10分配,CFG 3.5,shift 5;5B:20-30步,CFG 5;LTX-2:25-30步,使用自有调度;蒸馏LoRA(lightx2v)让Wan降到4-8步,CFG 1。 | |
Motion LoRAs | file | 摄像机移动、舞蹈、手势、物理效果;匹配5B/14B和专家。页面会标明目标。 |
Interpolation and upscale | post | 用RIFE或FILM插帧到32-60 fps;用逐帧ESRGAN或SeedVR提升分辨率。 |
分步操作
- 制作或选一张静态图:1024x1024或832x1216,主体清晰,背景简单。脸部占画面超过十分之一的动画效果最好。
- 写一句描述主体动作和一句描述摄像机动作的提示词。不写衣服、颜色或光线,图像里已有。
- 生成832x480(横屏)或480x832(竖屏),81帧,默认步数。看完整剪辑,评价动作,不是清晰度。
- 只调整动作提示词:用慢动作词(“慢慢地”,“轻柔地”)减少乱动;只写一个摄像机动作防止跳帧。
- 长视频:用第一段最后一帧做第二段起始图,动作提示词连贯;用编辑器拼接;最后插帧到30 fps并放大。
- 加音频:LTX-2和H3能同步生成音频;Wan用编辑器加音乐或音效。
示例
I2V的动作提示词示例
Positive: she lifts the coffee cup, takes a sip and looks out of the window; slow push-in, shallow depth of field, natural motion
Negative (Wan): static, blurry, distorted face, extra fingers, jump cut, text
PirateDiffusion工作流命令
/workflow /run:wan22-i2v she lifts the coffee cup and looks out of the window, slow push-in /length:81 (as a reply to the still)
ComfyUI Wan 2.2 5B 在16 GB显卡上运行
UnetLoaderGGUF wan2.2_ti2v_5B_Q8_0 | CLIPLoader umt5_xxl_fp8 (cpu) | Wan VAE 2.2 | WanImageToVideo 832x480, 81 frames | KSampler 24 steps, cfg 5, uni_pc, simple | VAE Decode (Tiled)
技巧
- 动作动词比形容词重要:“转身、走路、举起、倒水、挥手”各有不同且稳定的动作;“美丽、电影感”没动作。
- 每个剪辑一个摄像机动作:推近、拉远、左摇、环绕。两个动作会抖动。
- 竖屏静态图更适合动画脸部,横屏更适合动画环境。
- Wan高噪声专家的LoRA塑造动作,低噪声专家塑造细节。很多包都包含两者,分别加载到对应专家。
- 用4090显卡生成Wan 14B剪辑大约3-10分钟,LTX-2约90秒;云端大多数剪辑1-2分钟返回。
问题排查
剪辑像静止图但有轻微闪烁
原因
提示词里没动作动词,或者静态LoRA权重太高。
修复方法
加主体动作和摄像机动作;把LoRA权重降到0.7。
脸部变形或身份变化
原因
脸太小,帧数太多,或者480p下细节脸部。
修复方法
裁剪更近,帧数49-61,或云端720p;最后手段是逐帧脸部细节修复。
摄像机跳动或场景跳切
原因
提示词里有两个摄像机动作,或写了“cut to”等跳切词。
修复方法
只用一个摄像机动作;把“jump cut”放负面提示。
720p时显存不足
原因
帧数乘分辨率超显存。
修复方法
降到480p或更少帧数,卸载文本编码器;详见AI视频显存指南。
动作LoRA没效果
原因
加载到了错误的专家或模型大小。
修复方法
看模型页面确认5B/14B和高/低噪声,按触发词加载。
常见问题
先用哪个视频模型?
Wan 2.2 I2V:容错高,文档全,LoRA最多。Wan入门指南有完整设置。
8 GB显卡能用吗?
用Wan 2.1 1.3B或Wan 2.2 5B GGUF做短480p剪辑,速度慢。实际建议先用云端。
怎么弄声音?
LTX-2和MiniMax H3能生成同步音频;Mark White的H3提示指南讲对话和音效提示。
剪辑最长多久?
原生大约五秒。长视频用多段剪辑拼接;单次超过6-8秒质量会下降。
最新商用模型(Veo、Kling、Wan 3.0)能本地用吗?
不能;它们只提供API。本指南里的都是开源权重,可本地或云端运行。
链接与来源
- Wan 2.2 repository
- LTX-2 (Lightricks)
- Wan family page
- LTX-2 family page
- MiniMax H3 family page
- PirateDiffusionAD
- BitVector web appAD
本指南涉及的模型
作者
坐在瞭望塔上刷新 Hugging Face,让你不用操心。新模型一发布就报告,修复配置悄悄重新上传时也会报告。一次都没抢先过。更信任许可证文件胜过发布视频。
Lookout 的所有指南
相关指南
Wan 2.2 视频:文本到视频和图像到视频的设置、参数及 LoRA
2026年5月24日

AI 视频需要多少显存?按显卡大小划分的 Wan 2.2、HunyuanVideo 1.5 和 LTX-2(2026)
2026年10月6日
MiniMax H3 提示指南:文本转视频、图片转视频、参考视频和音频
2026年9月20日
MiniMax H3 视频提示:官方结构
2026年9月14日
LTX 2.3 清晰增强:更锐利、更具电影感的视频细节
2026年10月3日
AI 图像和视频的 GPU 与显存指南:各模型需求及购买建议(或不买)
2026年1月7日

HunyuanVideo 文本到视频 ComfyUI 工作流程:开启本地视频的 13B 模型
2026年10月9日

2026年最佳开源AI视频模型:你实际能下载的
2026年10月14日


