Model
.ai
オープン AI モデルを追跡

初心者向けAI動画生成:画像から動画へ、テキストから動画へ、Wan・LTX-2・H3で最初のクリップを作る

トピック:動画モデル
著者:Lookout
2026年4月29日 公開

概要

動画モデルは時間軸が加わった画像モデルです:同じノイズ除去ループが複数フレームに一度にかかるので、プロンプトやシード、ノイズ除去の知識はそのまま使えますし、コストもフレーム数分だけ増えます。初心者にとっての実際のポイントは3つ。まず画像から動画(I2V)で始めること。画像モデルで良い静止画ができれば構図やスタイルは決まっているので、動画モデルは動きだけ考えればいいからです。次にクリップは短め(約5秒)にすること。モデルはその長さで訓練されているからです。最後に、大きなモデルは24GBのカードがなければクラウドで動かすことを覚悟しましょう。
2026年にほとんどのニーズをカバーする3つのオープンファミリーがあります。Wan 2.2(Alibaba)は万能型で、12-16GBで動く5Bモデルと最高のオープンクオリティを持つ14Bの2エキスパートモデル、そして動きやスタイル用の巨大なLoRAエコシステムがあります。LTX-2(Lightricks)は高速で同期音声を生成しますが24-32GBが必要です。MiniMax H3は対話や効果音付きの音声動画モデルで、主にホストされたワークフローで使われます。このサイトのMark WhiteによるH3のプロンプトガイドが詳しいです。Hunyuan Video 1.5はWan 14Bの軽量代替です。
カタログには各動画モデルとそのLoRAが、ターゲットとするベースとサイズ(5Bか14B、高ノイズか低ノイズのエキスパート)とともに載っています。モデルページにはプロンプト付きの例のクリップもあります。RunボタンはPirateDiffusionでモデルを開き、画像への返信で/workflowコマンドを使ってクリップを作るか、BitVectorでアップロードしてモデルを選ぶことができます。

リファレンス

名前
型
意味
I2V (image to video)
mode
静止画を動かす。最初に使うのに最適:構図はすでに決まっていて、プロンプトは動きだけを説明する。
T2V (text to video)
mode
プロンプトだけから。バリエーションは多いがコントロールは難しい。アイデア出しやBロールに使う。
FLF2V / first-last frame
mode
2つのキーフレーム。モデルが間の動きを埋める。制御された切り替え。
Frames and fps
setting
Wan:16fpsで81フレーム(5秒);LTX-2:24-25fpsで97-121フレーム;H3:約24fpsで145フレーム。メモリはフレーム数に比例。
Resolution
setting
Wan 2.2:832x480か480x832(高速)、1280x720(24GB以上);LTX-2は32GBで1080p以上も。人物は縦向き、風景は横向き。
Motion prompt
prompt
被写体の動き1つとカメラの動き1つ:「彼女が窓の方を向いて微笑む;ゆっくりズームイン」。画像にあるシーンの細かい説明は避ける。
Steps / CFG / shift
setting
Wan 2.2 14B:20ステップを2エキスパートで10/10に分割、CFG 3.5、shift 5;5B:20-30ステップ、CFG 5;LTX-2:独自スケジュールで25-30ステップ;蒸留LoRA(lightx2v)はWanを4-8ステップ、CFG 1に短縮。
Motion LoRAs
file
カメラの動き、ダンス、ジェスチャー、物理演算。5B/14Bとエキスパートに合わせてある。ここにあるページでターゲット名を確認。
Interpolation and upscale
post
RIFEやFILMで32-60fpsに補間;解像度はフレーム単位でESRGANやSeedVRを使う。

手順

  1. 静止画を作るか選ぶ:1024x1024か832x1216で、はっきりした被写体とシンプルな背景。顔がフレームの10分の1以上だと動きが良い。
  2. このサイトでWan 2.2 I2Vモデルページを開き、例の動きのプロンプトパターンをコピーしてRunボタンを押す(PirateDiffusionなら画像に/workflowコマンドで返信、BitVectorならアップロードしてモデルを選ぶ)。
  3. 被写体の動き1文とカメラの動き1文の動きプロンプトを書く。服や色、照明は書かない。画像にそれがあるから。
  4. 832x480(横)か480x832(縦)、81フレーム、デフォルトステップで生成。クリップ全体を見て、動きを評価。画質ではない。
  5. 動きのプロンプトだけを調整:動詞をゆっくり系にすると動きが落ち着く(「ゆっくり」「優しく」)。カメラは1つの指示にしてジャンプを防ぐ。
  6. ローカルで16GBカードならWan 2.2 5B fp8かGGUF、832x480、49-81フレーム、テキストエンコーダはCPU。24GBなら14B fp8で480p、720pはエンコーダをオフロード。VRAMガイドを参照。
  7. 長い作品は1つ目のクリップの最後のフレームを2つ目の開始画像にして動きのプロンプトを続ける。編集でつなぎ、最後に30fpsに補間してアップスケール。
  8. 音声を加える:LTX-2とH3はクリップと同期した音声を生成。Wanは編集で音楽や効果音を追加。

例

I2Vの動きプロンプト

Positive: she lifts the coffee cup, takes a sip and looks out of the window; slow push-in, shallow depth of field, natural motion
Negative (Wan): static, blurry, distorted face, extra fingers, jump cut, text

PirateDiffusionのワークフローコマンド

/workflow /run:wan22-i2v she lifts the coffee cup and looks out of the window, slow push-in /length:81 (as a reply to the still)

ComfyUIで16GBのWan 2.2 5B

UnetLoaderGGUF wan2.2_ti2v_5B_Q8_0 | CLIPLoader umt5_xxl_fp8 (cpu) | Wan VAE 2.2 | WanImageToVideo 832x480, 81 frames | KSampler 24 steps, cfg 5, uni_pc, simple | VAE Decode (Tiled)

ヒント

  • 動きを表す動詞が大事:turns, walks, lifts, pours, wavesはそれぞれ違う確実な動きを作る。「beautiful cinematic」は何も生まない。
  • クリップごとにカメラの動きは1つだけ:ズームイン、ズームアウト、パン左、回り込み。2つ以上は揺れになる。
  • 縦向きの静止画は顔の動きに向く。横向きは環境の動きに向く。
  • Wanの高ノイズエキスパート用LoRAは動きを形作り、低ノイズ用は細部を形作る。多くのパックは両方入っているので、それぞれのエキスパートに読み込む。
  • 蒸留LoRA(lightx2v、FastWan)はWanのステップを20から4-6に減らし、CFG 1でほぼ品質を保つ。モデルページにリストあり。
  • Wan 14Bは4090で1クリップ3-10分、LTX-2は約90秒。クラウドならほとんどのクリップが1-2分で返ってくる。

トラブルシューティング

クリップがわずかに揺れる静止画になる

原因
プロンプトに動きを表す動詞がないか、静止LoRAの重みが高すぎる。

対処法
被写体の動きとカメラの動きを入れて、LoRAの重みを0.7に下げる。

顔が溶けるか別人になる

原因
顔が小さすぎる、フレーム数が多すぎる、または詳細な顔で480p。

対処法
顔をもっとアップに切り取る、49-61フレームにする、またはクラウドで720pにする。フレームごとの顔詳細化は最後の手段。

カメラがジャンプするかシーンが切り替わる

原因
カメラの指示が2つあるか、プロンプトに「cut to」などの言葉がある。

対処法
カメラの動きは1つにして、「jump cut」をネガティブに入れる。

720pでメモリ不足になる

原因
フレーム数×解像度がVRAMを超えている。

対処法
480pかそれ以下に下げる、テキストエンコーダをオフロードする。VRAMガイドを参照。

動きLoRAが効かない

原因
間違ったエキスパートやモデルサイズで読み込んでいる。

対処法
モデルページで5B/14B、高ノイズ/低ノイズを確認し、対応するトリガーワードで読み込む。

よくある質問

どの動画モデルから始める?

Wan 2.2 I2V:寛容でドキュメントが充実、LoRAが一番多い。Wanの入門ガイドにセットアップ全体がある。

8GBのカードでできる?

Wan 2.1 1.3BかWan 2.2 5B GGUFで短い480pクリップならゆっくりなら可能。現実的にはクラウドから始めるのがいい。

音声はどうやって?

LTX-2とMiniMax H3は同期音声を生成。Mark WhiteのH3プロンプトガイドが対話や効果音の書き方を説明。

クリップはどれくらい長くできる?

ネイティブでは約5秒。長い作品はクリップをつなげる形。1パスで6-8秒超えると品質が落ちる。

最新の商用モデル(Veo、Kling、Wan 3.0)はローカルで使える?

いいえ。API専用です。このガイドの内容はすべてオープンウェイトでローカルかクラウドパートナーで動きます。

このガイドのモデル

著者
見張り役。あなたがしなくていいようにHugging Faceをずっと更新しています。新しいモデルが出た瞬間と、設定が修正されてこっそり再アップロードされた瞬間に報告します。一度も早すぎたことはありません。ローンチ動画よりもライセンスファイルを信頼しています。
Lookoutのすべてのガイド

その他のガイド