ControlNet समझाया गया: SD 1.5, SDXL और Flux के लिए पोज़, डेप्थ, एजेस और संदर्भ छवियां

Q: परिणाम ट्रेस्ड और फ्लैट दिखता है

स्ट्रेंथ 1.0 और एंड पर्सेंट 1.0। स्ट्रेंथ 0.7, एंड 0.7; मॉडल को खुद डिटेल्स पूरा करने दो।

Q: कंकाल में हाथ या अंग छूट गया

प्रीप्रोसेसर ने गंदे फोटो पर ठीक से डिटेक्ट नहीं किया। DWPose का इस्तेमाल करो हाथ चालू करके, सोर्स क्रॉप करो, या OpenPose एडिटर नोड में कंकाल एडिट करो।

Q: दो यूनिट्स के साथ मेमोरी खत्म

हर ControlNet 2.5 GB तक का होता है। दोनों प्रकार के लिए Union मॉडल या fp8 ControlNets इस्तेमाल करो; VRAM गाइड देखो।

विषय: प्रॉम्प्टिंग

Captain द्वारा

फ़र 18, 2026 को प्रकाशित

अवलोकन

एक प्रॉम्प्ट बताता है कि क्या बनाना है; ControlNet बताता है कहाँ। यह एक साइड नेटवर्क है, जो परिवार के हिसाब से ट्रेन किया जाता है, जो एक कंट्रोल इमेज (स्टिक-फिगर पोज़, डेप्थ मैप, एज ड्राइंग, स्क्रिबल, सेगमेंटेशन मैप) पढ़ता है और डिनॉइज़र को इस तरह से नियंत्रित करता है कि परिणाम उस संरचना से मेल खाए। प्रॉम्प्ट अभी भी विषय, स्टाइल और लाइट तय करता है; कंट्रोल इमेज कंपोजिशन फिक्स करता है। इसी से लोग दस कैरेक्टर्स में एक जैसा पोज़ पाते हैं, 3D रेंडर को फोटो में बदलते हैं, या किसी प्रोडक्ट की सटीक आकृति बनाए रखते हैं।

दो स्टेप्स हमेशा होते हैं। पहले एक प्रीप्रोसेसर आपकी सोर्स फोटो को कंट्रोल इमेज में बदलता है (OpenPose कंकाल बनाता है, MiDaS या Depth Anything डेप्थ का अनुमान लगाते हैं, Canny एज ढूंढता है, Lineart आउटलाइन ट्रेस करता है)। फिर आपके परिवार के ControlNet मॉडल उस इमेज को जनरेशन के दौरान इस्तेमाल करता है। कच्ची फोटो को प्रीप्रोसेस्ड मैप की जगह देना शुरुआती लोगों की सबसे बड़ी गलती है; दूसरी गलती SDXL चेकपॉइंट पर SD 1.5 ControlNet का इस्तेमाल है।

Flux और 2025 के मॉडल ने माहौल बदल दिया: Black Forest Labs Flux Depth और Flux Canny को फुल मॉडल और LoRA के रूप में देता है, Union ControlNets एक फाइल में कई प्रकार कवर करते हैं SDXL और Flux के लिए, और इंस्ट्रक्शन एडिटर्स (Qwen Image Edit, Kontext) बिना कंट्रोल इमेज के कई "इसे रखो, उसे बदलो" काम संभालते हैं। इस साइट का कैटलॉग ControlNets को उनके परिवार के साथ "अन्य" के तहत टैग करता है; मॉडल पेज कंट्रोल प्रकार बताता है।

संदर्भ

नाम	प्रकार	यह क्या है
OpenPose	control type	शरीर, हाथ और चेहरे के कीपॉइंट्स स्टिक फिगर की तरह। पोज़ ट्रांसफर, कोरियोग्राफी, लगातार कैरेक्टर्स। जब तक हाथ मॉडल चालू न हो, हाथ कमजोर रहते हैं।
Depth (MiDaS, Zoe, Depth Anything)	control type	ग्रे डेप्थ मैप। स्पैशल लेआउट और कैमरा को बनाए रखता है जबकि पूरी तरह से रीस्टाइलिंग की अनुमति देता है। फोटो से इलस्ट्रेशन के लिए सबसे ज्यादा माफ़ करने वाला कंट्रोल।
Canny / Lineart / SoftEdge (HED)	control type	एज ड्राइंग। Canny सख्त और तेज़ है, Lineart ड्राइंग के लिए, SoftEdge ढीला। प्रोडक्ट शेप्स, आर्किटेक्चर, लोगो।
Scribble	control type	आपके द्वारा बनाए गए मोटे स्ट्रोक कंपोजिशन बन जाते हैं। कम स्ट्रेंथ (0.5-0.7) या परिणाम स्क्रिबल जैसा दिखेगा।
Tile	control type	अपस्केल या डिटेल पास को लो-रेज़ोल्यूशन इनपुट के प्रति वफादार रखने में मदद करता है। ज्यादातर "अल्टीमेट अपस्केल" वर्कफ़्लोज़ के पीछे इंजन।
IP-Adapter / Redux / reference	image conditioning	ControlNet नहीं है: यह इमेज की स्टाइल या चेहरे पर कंडीशन करता है, संरचना पर नहीं। ControlNet के साथ मिलाकर दोनों मिलता है।
Strength / weight	0.4-1.0	संरचना कितनी सख्ती से लागू होती है। पोज़ और डेप्थ के लिए 0.8, एजेस और स्क्रिबल के लिए 0.5-0.7।
Start / end percent	0.0-1.0	डिनॉइज़िंग के किस हिस्से पर कंट्रोल लागू होता है। 0.6-0.8 पर खत्म करने से मॉडल डिटेल्स खुद पूरा कर सकता है और "ट्रेस्ड" लुक हट जाता है।
Family files	SD 1.5: lllyasviel control_v11 \| SDXL: diffusers / xinsir Union \| Flux: Flux Depth/Canny, Shakker Union, InstantX	हर परिवार को अपना ControlNet चाहिए; साइज 0.7-2.5 GB। Union फाइलें कई प्रकार एक साथ रखती हैं।

चरण-दर-चरण

काम के लिए कंट्रोल टाइप चुनो: लोगों के लिए पोज़, सीन और रीस्टाइलिंग के लिए डेप्थ, सख्त शेप्स के लिए Canny या Lineart, आइडियाज के लिए स्क्रिबल, अपस्केलिंग के लिए टाइल।
अपने चेकपॉइंट के परिवार के ControlNet को models/controlnet (ComfyUI) या models/ControlNet (A1111, Forge) में डाउनलोड करो। अगर कई प्रकार इस्तेमाल करते हो तो Union फाइलें डिस्क बचाती हैं।
अपनी सोर्स इमेज लोड करो और मैचिंग प्रीप्रोसेसर चलाओ (ComfyUI: controlnet_aux नोड्स; A1111: ControlNet एक्सटेंशन इनलाइन करता है)। कंट्रोल इमेज प्रीव्यू करो; अगर कंकाल में कोई अंग छूट गया हो तो ठीक करो।
ComfyUI: CLIP Text Encode और KSampler के बीच ControlNet (Advanced) लगाओ, कंट्रोल इमेज और ControlNet मॉडल कनेक्ट करो, स्ट्रेंथ 0.8, स्टार्ट 0, एंड 0.8।
A1111 / Forge: ControlNet यूनिट 0 चालू करो, प्रीप्रोसेसर और मॉडल एक ही प्रकार के चुनो, वेट 0.8, कंट्रोल स्टेप 0.8 पर खत्म, पिक्सेल परफेक्ट ऑन।
जो देखना चाहते हो उसका प्रॉम्प्ट लिखो, पोज़ के लिए नहीं (पोज़ खुद संभालता है)। चार सीड जनरेट करो।
अगर इमेज ट्रेस्ड या फ्लैट लगे तो स्ट्रेंथ या एंड पर्सेंट कम करो; अगर संरचना डिफ्ट करे तो बढ़ाओ। जिद्दी कंपोजिशन के लिए दूसरा यूनिट (पोज़ + डेप्थ) जोड़ो।
क्लाउड पर, PirateDiffusion कंट्रोल फ्लैग के साथ /render कमांड पर कंट्रोलनेट लागू करता है; BitVector अपने इमेज टूल्स में पोज़ और डेप्थ देता है।

उदाहरण

ComfyUI में पोज़ ट्रांसफर (SDXL)

Load Image (reference photo) -> DWPose Estimator (body + hands) -> Apply ControlNet Advanced (xinsir controlnet-union-sdxl, type openpose, strength 0.8, end 0.75) -> KSampler

Prompt: a knight in weathered plate armour standing on a cliff at dawn, cinematic, 35mm

डेप्थ के साथ फोटो से वॉटरकलर (A1111 / Forge)

ControlNet unit 0: preprocessor depth_anything, model control_sdxl_depth, weight 0.7, end 0.7, pixel perfect

Prompt: loose watercolour illustration of a harbour town, paper texture, soft morning light

Flux Canny LoRA

Load Diffusion Model (flux1-dev-fp8) -> LoraLoaderModelOnly (flux1-canny-dev-lora, 0.85) -> InstructPixToPixConditioning (canny image) -> KSampler (guidance 30)

टिप्स

फोटो से इलस्ट्रेशन के लिए डेप्थ Canny से बेहतर है क्योंकि यह टेक्सचर को खुला छोड़ता है; लोगो और प्रोडक्ट के लिए Canny बेहतर है क्योंकि यह एजेस को सटीक रखता है।
एंड पर्सेंट वह सेटिंग है जिसे ज्यादातर लोग कभी नहीं छूते और जो प्लास्टिक जैसा, ट्रेस्ड लुक ठीक करती है।
कंट्रोल इमेज को जनरेशन साइज में उसी आस्पेक्ट रेशियो के साथ रिसाइज़ करो; मेल न खाने वाले शेप्स कंकाल को क्रॉप कर देते हैं।
अपने फोटो से OpenPose सबसे तेज़ तरीका है किसी कैरेक्टर के लिए लगातार पोज़ लाइब्रेरी पाने का।
Flux के लिए, Black Forest Labs के Depth और Canny LoRA फुल कंट्रोल मॉडल से हल्के होते हैं और ज्यादातर कामों के लिए काफी हैं।
इंस्ट्रक्शन एडिटर्स (Qwen Image Edit, Kontext) अक्सर "एक ही सीन, अलग सब्जेक्ट" एडिट के लिए ControlNet पास की जगह लेते हैं; Qwen Image Edit गाइड देखो।

मॉडल पेज पर बताए नोड और CFG 1 के साथ गाइडेंस इस्तेमाल करो।

प्रश्न

क्या ControlNet एक LoRA है?

नहीं। यह एक अलग नेटवर्क है जो इमेज पढ़ता है; LoRA टेक्स्ट से मॉडल के वेट्स बदलता है। Flux के Depth और Canny "LoRA" अपवाद हैं: कंट्रोल मॉडल LoRA फॉर्म में आते हैं।

क्या मैं ControlNet वीडियो के साथ इस्तेमाल कर सकता हूँ?

हाँ: Wan VACE और Wan Fun ControlNets पोज़ या डेप्थ सीक्वेंस लेते हैं; इस साइट पर वीडियो गाइड हैं।

क्या मुझे प्रीप्रोसेसर मॉडल इंस्टॉल करने होंगे?

हाँ, वे पहली बार इस्तेमाल पर डाउनलोड होते हैं (ComfyUI में controlnet_aux, A1111 में एक्सटेंशन)। ये छोटे होते हैं।

IP-Adapter और ControlNet में कौन बेहतर है?

अलग काम के लिए: IP-Adapter इमेज से लुक या पहचान कॉपी करता है, ControlNet संरचना कॉपी करता है। कई वर्कफ़्लोज़ दोनों का इस्तेमाल करते हैं।

क्या यह क्लाउड पर काम करता है?

PirateDiffusion और BitVector के मॉडल में ControlNets इंस्टॉल हैं; आप सोर्स इमेज और कंट्रोल टाइप देते हो।

लिंक और स्रोत

इस गाइड के मॉडल

Stable Diffusion 1.5 मॉडल

Stable Diffusion XL 1.0 मॉडल

Flux मॉडल

लेखक

Captain

इस जहाज को चलाता है। VAE डिकोड समय के बारे में ऐसे विचार रखता है जिनके लिए किसी ने पूछा तक नहीं। मानता है कि वज़न स्वतंत्र होना चाहते हैं और कोई भी मॉडल जिसे आप डाउनलोड नहीं कर सकते वह अतिरिक्त कदमों वाला सब्सक्रिप्शन है। NAS पर 400 GB के चेकपॉइंट्स के बारे में सवाल नहीं लेगा।

Captain द्वारा सभी मार्गदर्शिकाएँ