शुरुआत के लिए AI वीडियो जनरेशन: इमेज-टू-वीडियो, टेक्स्ट-टू-वीडियो और पहला क्लिप Wan, LTX-2 और H3 के साथ

Q: कैमरा कूदता है या सीन कट होता है

दो कैमरा निर्देश, या प्रॉम्प्ट में "cut to" शब्द। एक कैमरा मूव; "jump cut" को नेगेटिव में डालें।

Q: 720p पर मेमोरी खत्म

फ्रेम्स × रिज़ॉल्यूशन VRAM से ज्यादा। 480p या कम फ्रेम्स पर जाएं, टेक्स्ट एन्कोडर ऑफलोड करें; AI वीडियो के लिए VRAM गाइड देखें।

Q: मोशन LoRA काम नहीं करता

गलत एक्सपर्ट या गलत मॉडल साइज पर लोड किया गया। मॉडल पेज पर 5B/14B और हाई/लो नॉइज़ चेक करें; उसके ट्रिगर शब्द के साथ सही लोड करें।

विषय: वीडियो मॉडल

Lookout द्वारा

अप्रै 29, 2026 को प्रकाशित

अवलोकन

वीडियो मॉडल्स इमेज मॉडल्स होते हैं जिनमें टाइम एक्सिस होती है: एक ही डिनॉइज़िंग लूप एक साथ फ्रेम्स के ब्लॉक पर चलता है, इसलिए प्रॉम्प्ट्स, सीड्स और डिनॉइज़ के बारे में जो कुछ भी आप जानते हैं, वही लागू होता है, और लागतें भी फ्रेम काउंट से गुणा हो जाती हैं। शुरुआती के लिए व्यावहारिक नतीजे तीन हैं। इमेज-टू-वीडियो (I2V) से शुरू करें, क्योंकि इमेज मॉडल से एक अच्छा स्टिल कंपोजीशन और स्टाइल को फिक्स कर देता है और वीडियो मॉडल को केवल मोशन बनाना होता है। क्लिप्स को छोटा रखें (लगभग पांच सेकंड), क्योंकि मॉडल्स को इसी पर ट्रेन किया गया है। और बड़े मॉडल्स को क्लाउड पर चलाने की उम्मीद रखें जब तक कि आपके पास 24 GB कार्ड न हो।

2026 में तीन ओपन परिवार अधिकांश जरूरतों को पूरा करते हैं। Wan 2.2 (Alibaba) एक ऑल-राउंडर है: 5B मॉडल जो 12-16 GB पर चलता है और 14B दो-एक्सपर्ट मॉडल जिसमें सबसे अच्छी ओपन क्वालिटी है, साथ ही मोशन और स्टाइल के लिए बड़ा LoRA इकोसिस्टम। LTX-2 (Lightricks) तेज़ है और सिंक्ड ऑडियो जनरेट करता है लेकिन 24-32 GB चाहता है। MiniMax H3 ऑडियो-वीडियो मॉडल है जिसमें डायलॉग और साउंड इफेक्ट्स होते हैं, ज्यादातर होस्टेड वर्कफ़्लोज़ के जरिए इस्तेमाल होता है; इस साइट पर Mark White के H3 प्रॉम्प्टिंग गाइड्स इस पर गहराई से हैं। Hunyuan Video 1.5 Wan 14B का हल्का विकल्प है।

कैटलॉग में हर वीडियो मॉडल और उसके LoRA को उनके बेस और साइज के साथ सूचीबद्ध किया गया है (5B या 14B, हाई-नॉइज़ या लो-नॉइज़ एक्सपर्ट), और मॉडल पेज पर उनके प्रॉम्प्ट्स के साथ उदाहरण क्लिप्स दिखाए गए हैं। रन बटन मॉडल को PirateDiffusion पर खोलता है, जहां एक वर्कफ़्लो कमांड आपकी इमेज के रिप्लाई से क्लिप बनाता है, या BitVector पर।

संदर्भ

नाम	प्रकार	यह क्या है
I2V (image to video)	mode	एक स्टिल को एनिमेट करें। सबसे अच्छा पहला मोड: कंपोजीशन पहले से सही है; प्रॉम्प्ट केवल मोशन का वर्णन करता है।
T2V (text to video)	mode	सिर्फ प्रॉम्प्ट से। ज्यादा वैरायटी, कम कंट्रोल; आइडियाज और B-रोल के लिए इस्तेमाल करें।
FLF2V / first-last frame	mode	दो कीफ्रेम्स; मॉडल बीच की मोशन भरता है। कंट्रोल्ड ट्रांजिशन।
Frames and fps	setting	Wan: 81 फ्रेम्स 16 fps पर (5 सेकंड); LTX-2: 97-121 फ्रेम्स 24-25 fps पर; H3: 145 फ्रेम्स लगभग 24 fps पर। मेमोरी फ्रेम्स के साथ बढ़ती है।
Resolution	setting	Wan 2.2: 832x480 या 480x832 (फास्ट), 1280x720 (24 GB+); LTX-2 32 GB के साथ 1080p+ तक। लोगों के लिए पोर्ट्रेट, सीन के लिए लैंडस्केप।
Motion prompt	prompt	एक विषय की मोशन और एक कैमरा मोशन: "वह खिड़की की तरफ मुड़ती है और मुस्कुराती है; धीरे से पुस-इन"। पहले से इमेज में मौजूद सीन डिटेल्स की लिस्टिंग से बचें।
Steps / CFG / shift	setting	Wan 2.2 14B: 20 स्टेप्स, एक्सपर्ट्स में 10/10 विभाजित, CFG 3.5, शिफ्ट 5; 5B: 20-30 स्टेप्स, CFG 5; LTX-2: 25-30 स्टेप्स अपनी शेड्यूल के साथ; डिस्टिल्ड LoRAs (lightx2v) Wan को CFG 1 पर 4-8 स्टेप्स तक लाते हैं।
Motion LoRAs	file	कैमरा मूव्स, डांस, जेस्चर्स, फिजिक्स; 5B/14B और एक्सपर्ट के अनुसार मैच किए गए। यहां के पेज टारगेट का नाम देते हैं।
Interpolation and upscale	post	RIFE या FILM से 32-60 fps; फ्रेम-वाइज ESRGAN या SeedVR रिज़ॉल्यूशन के लिए।

चरण-दर-चरण

एक स्टिल बनाएं या चुनें: 1024x1024 या 832x1216 रेंडर जिसमें साफ विषय और सरल बैकग्राउंड हो। फ्रेम के दसवें हिस्से से बड़े चेहरे सबसे अच्छा एनिमेट होते हैं।
इस साइट पर Wan 2.2 I2V मॉडल पेज खोलें, उदाहरण मोशन प्रॉम्प्ट पैटर्न कॉपी करें, और रन बटन दबाएं (PirateDiffusion: अपनी इमेज को /workflow कमांड के साथ रिप्लाई करें; BitVector: अपलोड करें और मॉडल चुनें)।
विषय के लिए एक वाक्य और कैमरा के लिए एक वाक्य में मोशन प्रॉम्प्ट लिखें। कपड़े, रंग या लाइटिंग के बारे में कुछ न लिखें; इमेज में वे पहले से हैं।
832x480 (लैंडस्केप) या 480x832 (पोर्ट्रेट), 81 फ्रेम्स, डिफ़ॉल्ट स्टेप्स पर जनरेट करें। पूरा क्लिप देखें; शार्पनेस नहीं, मोशन का मूल्यांकन करें।
सिर्फ मोशन प्रॉम्प्ट पर सुधार करें: धीमे क्रियाएं ("धीरे", "नरमी से") फालतू हिलने-डुलने को कम करती हैं; एक कैमरा निर्देश कूद को रोकता है।
लोकल में, 16 GB कार्ड के साथ: Wan 2.2 5B fp8 या GGUF, 832x480, 49-81 फ्रेम्स, टेक्स्ट एन्कोडर CPU पर। 24 GB के साथ: 14B fp8 480p पर, 720p एन्कोडर ऑफलोड के साथ। AI वीडियो के लिए VRAM गाइड देखें।
लंबे टुकड़े: क्लिप एक के आखिरी फ्रेम को क्लिप दो की स्टार्ट इमेज बनाएं, मोशन प्रॉम्प्ट जारी रखें; एडिटर में जोड़ें; अंत में 30 fps पर इंटरपोलेट करें और अपस्केल करें।
साउंड जोड़ें: LTX-2 और H3 क्लिप के साथ ऑडियो जनरेट करते हैं; Wan के लिए, एडिटर में म्यूजिक या इफेक्ट्स जोड़ें।

उदाहरण

I2V के लिए मोशन प्रॉम्प्ट

Positive: she lifts the coffee cup, takes a sip and looks out of the window; slow push-in, shallow depth of field, natural motion

Negative (Wan): static, blurry, distorted face, extra fingers, jump cut, text

PirateDiffusion वर्कफ़्लो कमांड

/workflow /run:wan22-i2v she lifts the coffee cup and looks out of the window, slow push-in /length:81 (as a reply to the still)

ComfyUI Wan 2.2 5B 16 GB पर

टिप्स

मोशन क्रियाएं विशेषणों से ज्यादा मायने रखती हैं: "मोड़ना, चलना, उठाना, डालना, हाथ हिलाना" हर एक अलग, भरोसेमंद मोशन देता है; "सुंदर सिनेमाई" कुछ नहीं देता।
प्रति क्लिप एक कैमरा मूव: पुस-इन, पुल-बैक, पैन लेफ्ट, ऑर्बिट। दो मूव से झटका आता है।
पोर्ट्रेट स्टिल्स चेहरे बेहतर एनिमेट करते हैं; लैंडस्केप स्टिल्स वातावरण बेहतर एनिमेट करते हैं।
Wan LoRAs हाई-नॉइज़ एक्सपर्ट के लिए मोशन को आकार देते हैं; लो-नॉइज़ डिटेल को। कई पैक्स दोनों भेजते हैं; हर एक को उसके एक्सपर्ट पर लोड करें।
डिस्टिल्ड LoRAs (lightx2v, FastWan) Wan को 20 स्टेप्स से 4-6 तक CFG 1 पर कम करते हैं बिना क्वालिटी ज्यादा खोए; मॉडल पेज इन्हें सूचीबद्ध करते हैं।
4090 पर Wan 14B के लिए प्रति क्लिप 3-10 मिनट और LTX-2 के लिए लगभग 90 सेकंड की उम्मीद करें; क्लाउड ज्यादातर क्लिप्स एक या दो मिनट में लौटाता है।

मॉडल पेज पर 5B/14B और हाई/लो नॉइज़ चेक करें; उसके ट्रिगर शब्द के साथ सही लोड करें।

प्रश्न

सबसे पहले कौन सा वीडियो मॉडल?

Wan 2.2 I2V: सहनशील, अच्छी तरह से डॉक्यूमेंटेड, सबसे ज्यादा LoRAs। Wan गेटिंग-स्टार्टेड गाइड में पूरा सेटअप है।

क्या मैं इसे 8 GB कार्ड पर कर सकता हूँ?

छोटे 480p क्लिप्स Wan 2.1 1.3B या Wan 2.2 5B GGUF के साथ, धीरे-धीरे। असल में, क्लाउड से शुरू करें।

साउंड कैसे मिलेगा?

LTX-2 और MiniMax H3 सिंक्ड ऑडियो जनरेट करते हैं; Mark White के H3 प्रॉम्प्टिंग गाइड्स डायलॉग और इफेक्ट्स प्रॉम्प्ट्स समझाते हैं।

क्लिप कितनी लंबी हो सकती है?

लगभग पांच सेकंड नेटिवली। लंबे टुकड़े जुड़े हुए क्लिप्स होते हैं; एक पास में छह से आठ सेकंड के बाद क्वालिटी खराब होती है।

नए कमर्शियल मॉडल्स (Veo, Kling, Wan 3.0) लोकल पर उपलब्ध हैं?

नहीं; वे API-ओनली हैं। इस गाइड की हर चीज ओपन-वेट है और लोकल या क्लाउड पार्टनर्स पर चलती है।

लिंक और स्रोत

इस गाइड के मॉडल

लेखक

कौवे के घोंसले में बैठा रहता है और Hugging Face को रिफ्रेश करता है ताकि आपको न करना पड़े। जैसे ही कोई नया मॉडल आता है रिपोर्ट करता है और फिर जब वह चुपचाप फिक्स्ड कॉन्फ़िग के साथ फिर से अपलोड होता है तो फिर से रिपोर्ट करता है। कभी भी समय से पहले नहीं पहुंचा। एक लाइसेंस फाइल पर लॉन्च वीडियो से ज्यादा भरोसा करता है।

Lookout द्वारा सभी मार्गदर्शिकाएँ