ControlNetの解説：SD 1.5、SDXL、Fluxでのポーズ、深度、エッジ、参照画像

Q: ControlNetが効かない

ファミリーの不一致（SDXLにSD 1.5のControlNet）、または前処理済みマップでなく元写真を使った。 ファミリーを合わせ、前処理器を実行して出力を確認。

Q: 結果がなぞったようで平坦に見える

強さ1.0で終了パーセントも1.0。 強さ0.7、終了0.7にしてモデルに細部を任せる。

Q: 骨格が手や手足を見逃す

混雑した写真で前処理器がうまく検出できなかった。 DWPoseで手を有効にするか、元画像をトリミング、OpenPoseエディタノードで骨格を編集。

Q: 2つのユニットでメモリ不足

ControlNetは最大2.5GB。 両方のタイプを使うならUnionモデルかfp8 ControlNetを使う。VRAMガイドも参照。

Q: Flux ControlNetがノイズを出す

誤った条件付けノードや、ガイダンス蒸留モデルでCFGが1超え。 モデルページで指定されたノードとCFG1を使い、ページの指示に従う。

トピック：プロンプト

著者：Captain

2026年2月18日公開

概要

プロンプトは何を描くかを伝え、ControlNetはどこに描くかを伝えます。これはファミリーごとに訓練されたサイドネットワークで、制御画像（棒人間のポーズ、深度マップ、エッジ描画、落書き、セグメンテーションマップ）を読み取り、ノイズ除去器を操作して結果がその構造に合うようにします。プロンプトは引き続き被写体、スタイル、光を決め、制御画像が構図を固定します。これにより、10人のキャラで同じポーズを取らせたり、3Dレンダリングを写真風にしたり、商品の正確な形状を保つことができます。

常に2つのステップがあります。まず前処理器が元の写真を制御画像に変換します（OpenPoseは骨格を描き、MiDaSやDepth Anythingは深度を推定し、Cannyはエッジを検出し、Lineartは輪郭をなぞります）。次に、ファミリー用のControlNetモデルが生成時にその画像を使います。元の写真を前処理マップの代わりに使うのは初心者の一番多いミスで、二番目はSDXLのチェックポイントにSD 1.5のControlNetを使うことです。

Fluxと2025年モデルで状況が変わりました。Black Forest LabsはFlux DepthとFlux CannyをフルモデルとLoRAで提供し、Union ControlNetsはSDXLとFluxで複数タイプを1つのファイルにまとめ、指示編集ツール（Qwen Image Edit、Kontext）は制御画像なしで「これを残してあれを変える」作業をこなします。このサイトのカタログではControlNetは「その他」の下にファミリー名でタグ付けされ、モデルページには制御タイプが記載されています。

リファレンス

名前	型	意味
OpenPose	control type	体、手、顔のキーポイントを棒人間で表現。ポーズ転送、振付、一貫したキャラ作りに。手は手モデルがないと弱い。
Depth (MiDaS, Zoe, Depth Anything)	control type	グレーの深度マップ。空間配置とカメラ位置を保ちつつ、完全なリスタイリングが可能。写真からイラストへの変換で一番扱いやすい制御。
Canny / Lineart / SoftEdge (HED)	control type	エッジ描画。Cannyは厳密でシャープ、Lineartは絵画向け、SoftEdgeはゆるい。商品の形状、建築、ロゴに。
Scribble	control type	自分で描いたラフな線が構図になる。強さは低め（0.5-0.7）にしないと落書きっぽくなる。
Tile	control type	アップスケールやディテール処理で低解像度入力に忠実に保つガイド。多くの「究極のアップスケール」ワークフローのエンジン。
IP-Adapter / Redux / reference	image conditioning	ControlNetではない：画像の構造ではなくスタイルや顔を条件付ける。ControlNetと組み合わせて両方使うことも。
Strength / weight	0.4-1.0	構造をどれだけ強く守るか。ポーズや深度は0.8、エッジや落書きは0.5-0.7。
Start / end percent	0.0-1.0	ノイズ除去のどの段階で制御をかけるか。0.6-0.8で終わらせるとモデルが自由に細部を仕上げて「なぞった」感じがなくなる。
Family files	SD 1.5: lllyasviel control_v11 \| SDXL: diffusers / xinsir Union \| Flux: Flux Depth/Canny, Shakker Union, InstantX	ファミリーごとに専用のControlNetが必要で、サイズは0.7～2.5GB。Unionファイルは複数タイプをまとめている。

手順

用途に合う制御タイプを選ぶ：人ならポーズ、風景やリスタイリングは深度、硬い形状はCannyやLineart、アイデアは落書き、アップスケールはタイル。
チェックポイントのファミリー用ControlNetをmodels/controlnet（ComfyUI）かmodels/ControlNet（A1111、Forge）にダウンロード。複数タイプ使うならUnionファイルでディスク節約。
元画像を読み込み、対応する前処理器を実行（ComfyUIはcontrolnet_auxノード、A1111はControlNet拡張がインラインで処理）。制御画像をプレビューし、骨格が欠けていれば直す。
ComfyUIではCLIP Text EncodeとKSamplerの間にControlNet（Advanced）を挟み、制御画像とControlNetモデルを接続、強さ0.8、開始0、終了0.8に設定。
A1111 / ForgeではControlNetユニット0を有効にし、同じタイプの前処理器とモデルを選び、重み0.8、終了制御ステップ0.8、ピクセルパーフェクトオン。
見たいもののプロンプトを書き、ポーズは制御されるので含めない。4つのシードで生成。
画像がなぞったように見えたり平坦なら強さか終了パーセントを下げ、構造がずれるなら上げる。頑固な構図には2つ目のユニット（ポーズ＋深度）を重ねる。
クラウドではPirateDiffusionがソース画像に/renderと制御フラグを付けて返信するとControlNetを適用し、BitVectorは画像ツールでポーズと深度を提供。

例

ComfyUIでのポーズ転送（SDXL）

Load Image (reference photo) -> DWPose Estimator (body + hands) -> Apply ControlNet Advanced (xinsir controlnet-union-sdxl, type openpose, strength 0.8, end 0.75) -> KSampler

Prompt: a knight in weathered plate armour standing on a cliff at dawn, cinematic, 35mm

深度で写真から水彩画へ（A1111 / Forge）

ControlNet unit 0: preprocessor depth_anything, model control_sdxl_depth, weight 0.7, end 0.7, pixel perfect

Prompt: loose watercolour illustration of a harbour town, paper texture, soft morning light

Flux Canny LoRA

Load Diffusion Model (flux1-dev-fp8) -> LoraLoaderModelOnly (flux1-canny-dev-lora, 0.85) -> InstructPixToPixConditioning (canny image) -> KSampler (guidance 30)

ヒント

写真からイラストへの変換は深度の方がテクスチャを自由にできるのでCannyより優れる。ロゴや商品はエッジを正確に保つCannyが向く。
終了パーセントは多くの人が触らない設定だが、プラスチックっぽいなぞり感をなくすのに効く。
制御画像は生成サイズに同じアスペクト比でリサイズしよう。形が合わないと骨格が切れる。
自分の写真からOpenPoseを使うのがキャラの一貫したポーズライブラリを作る最速の方法。
FluxではBlack Forest LabsのDepthとCanny LoRAはフルモデルより軽く、ほとんどの作業に十分。
指示編集ツール（Qwen Image Edit、Kontext）は「同じシーンで被写体だけ変える」編集でControlNetの代わりになることが多い。Qwen Image Editのガイドも参照。