在數位插畫與概念設計工作流程中，單憑自然語言提示詞（Prompt）來精確控制人物骨骼姿態、肢體透視與複雜畫面的空間層次，往往令人備感挫折。自然語言先天具備模糊性：諸如「一位武術家在潮濕的屋頂上騰空迴旋踢」的提示詞，在實際生圖時經常導致關節扭曲、四肢錯位甚至出現「多肢」畸變。對於沒有本機高性能顯示卡硬體配置、主要依賴網頁端（Stable Diffusion Web 及各類 Web 介面）進行創作的繪師而言，這種隨機性極大地限制了實際生產力。
ControlNet（控制網）的誕生徹底解決了這項核心瓶頸。它為預訓練的擴散模型引入了顯式的空間條件控制機制。創作者無需再被動依靠隨機噪聲碰運氣，而是可以直接上傳參考圖，提取出人體骨骼關節點、邊緣輪廓線或 3D 深度圖等幾何藍圖。本指南將系統性拆解數位插畫師如何在 Stable Diffusion Web 創作環境中熟練運用 ControlNet，實現高精度人體動作對齊與複雜場景結構復刻，同時保有對角色風格、服裝與光影氛圍的自由掌控。
為什麼單純依靠文字提示詞無法鎖定動態與構圖
擴散模型（Diffusion Models）的繪圖原理，是透過文字嵌入向量與交叉注意力（Cross-Attention）機制逐步消除潛在空間中的噪聲。這套架構在理解「主體類別、藝術風格、光影基調」等全局語意時表現優異，但在缺乏空間座標感知能力的問題上面臨天生限制：
- 姿態語意的座標鴻溝：文字中的「左臂向前伸展、身體大幅側傾」，無法為神經網絡提供精確的三維關節點座標和透視縮放比例。模型只能依據海量訓練數據中的機率統計進行推測，極易生成違反人體工學的畸變骨骼。
- 前後景空間層級塌陷：當畫面涉及「過肩視角的雙人對峙」、「低角度仰拍動作戲」或「多主體縱深排列」時，純提示詞往往使景深扁平化，無法維持嚴謹的透視滅點。
- 風格與動作強烈耦合：只要稍微調整提示詞中的服裝材質或燈光描述，整張畫面的隨機隨機種子效應就會徹底破壞既有的人體動作，迫使繪師陷入無止境的抽卡循環。
ControlNet 的核心解法是「凍結與克隆」：它鎖定原有 Stable Diffusion 主幹網絡權重，另建一個可訓練的副本，並透過零初始化卷積層（Zero Convolutions）將外部條件特徵直接注入去噪流程中。如此一來，「畫什麼」（角色身分、服飾、渲染風格）由提示詞決定，而「怎麼站、空間如何配置」（動作、輪廓、景深）則被 ControlNet 牢牢固定。
核心控制網模組：OpenPose、Canny 與 Depth
Stable Diffusion Web 整合了多種專有預處理器與條件模型。創作者需根據參考素材的具體約束需求，選擇匹配的控制單元。
| ControlNet 模型 | 提取輸入 | 空間保留特徵 | 最佳創作應用場景 |
|---|---|---|---|
| OpenPose | 人體骨骼關節點（頭、頸、四肢關節、手部與臉部特徵） | 真實人體動作角度；肢體屈伸姿態；頭部朝向 | 動態動作戲打鬥；舞蹈跳躍姿態；在完全更換角色服裝、體型與畫風時鎖死動作 |
| Canny | 高反差幾何邊緣與輪廓線 | 精確物體外輪廓；結構硬邊；服飾剪裁結構線 | 線稿上色與原畫重繪；機械裝置與建築透視硬表面復刻；嚴格保留道具與服飾形準 |
| Depth | 灰階單目深度圖（亮近暗遠） | 3D 空間體積感；主體相對比例；前後景景深距離 | 複雜大場景透視調度；多角色遮擋關係維護；在保持空間縱深的前提下自由重繪材質表面 |
1. OpenPose：純粹的骨骼動態提取
OpenPose 演算法能將參考圖中的人物解構為包含 18 個核心關節點的骨架線條圖，高階變體（如 openpose_full 或 dwpose）還能精確辨識手指關節與臉部表情基準點。
由於 OpenPose 會自動過濾掉參考圖的所有背景、服裝花紋和光照資訊，繪師可以隨意輸入全新的角色外貌設定（例如將寫實自拍照重繪為身披機甲的賽博龐克戰士），而人物的重心、張力和肢體姿態完全分毫不差。
2. Canny：極致嚴謹的輪廓硬邊
Canny 邊緣檢測透過演算法檢測像素亮度的梯度變化，生成黑底白線的輪廓線圖。它能極度忠實地復刻參考圖中的每一個邊界。
對於手繪線稿上色、保持特定服裝剪裁，或是復刻精密工業產品外觀的創作者而言，Canny 是不可或缺的工具。不過需要注意的是，若參考照片背景雜亂，Canny 也會把瑣碎的背景雜訊一併提取出來，限制 AI 自由繪製新背景的能力。
3. Depth：維持 3D 縱深與空間體量
Depth 預處理器（如 MiDaS 或 DPT）將平面參考圖轉換為黑白漸變深度圖，距離鏡頭最近的部分呈高亮白色，遠景與地平線呈深暗色。
與 Canny 的硬性幾何線框不同，Depth 關注的是「三維空間佔用與透視」。它不僅鎖定了畫面的透視消失點，還允許擴散模型在表面材質、毛髮和微觀紋理上擁有充分的自由度，特別適用於為複雜室內空間、自然風光或多主體大場景重設風格。
網頁端端到端實作流程
在 Stable Diffusion Web 上完成精準姿態與構圖復刻，包含四個核心階段：
+-------------------------------------------------------+
| 1. 參考圖準備與畫布比例對齊 |
| - 確保人物肢體清晰，畫面寬高比匹配 |
+---------------------------+---------------------------+
|
v
+-------------------------------------------------------+
| 2. 配置 ControlNet 單元 |
| - 勾選 Enable 與 Pixel Perfect |
| - 匹配預處理器與對應的模型權重 |
+---------------------------+---------------------------+
|
v
+-------------------------------------------------------+
| 3. 編寫解耦式提示詞 |
| - 提示詞負責：主體、服裝、畫風、光影 |
| - ControlNet 負責：動作姿勢、幾何輪廓、空間縱深 |
+---------------------------+---------------------------+
|
v
+-------------------------------------------------------+
| 4. 關鍵參數微調 |
| - 控制權重：0.8 - 1.0 |
| - 引導介入步數：0.0 |
| - 引導終止步數：0.7 - 0.85 |
| - 控制模式：平衡或提示詞優先 |
+---------------------------+---------------------------+
|
v
+-------------------------------------------------------+
| 5. 生成圖像並校驗預處理特徵骨架 |
+-------------------------------------------------------+
第一步：參考圖準備與畫布比例對齊
選擇一張動態清晰、肢體無嚴重不可逆遮擋的素材。如果人物手部深埋在陰影中，預處理器可能會誤判關節導致斷手斷腳。
格外重要的是：生成畫布的解析度比例必須與參考圖的寬高比嚴格保持一致。若將一張 9:16 的手機人像輸入到 1:1 的方形畫布中，在未做縮放裁切設定時，提取出的骨架將被橫向拉伸變形。在 Web 介面中，務必勾選 Pixel Perfect（完美像素） 或選擇 Crop and Resize（裁剪並縮放），使預處理器能根據畫布自動匹配合適的解析度。
第二步：配置 ControlNet 單元
在生圖介面中展開 ControlNet 折疊選單：
- 將參考圖片拖入上傳區域。
- 勾選 Enable（啟用） 開關。
- 選擇匹配的預處理器（Preprocessor）：
- 人物動態首選
openpose_full或dwpose； - 線條與硬邊首選
canny； - 場景縱深首選
depth_midas或depth_zoe。
- 人物動態首選
- 在模型（Model）列表中選擇與基礎模型架構對應的
.safetensors模型權重（如基礎模型為 SD 1.5，需選用 SD 1.5 對應的 OpenPose 模型；若為 SDXL 則需選用 SDXL 對應版本）。
第三步：編寫解耦式提示詞
使用 ControlNet 時的黃金準則是解除提示詞對動作位置的描述負擔。不需要在正向提示詞中冗長羅列：
「一個機械武士單腿站立，右臂向外以四十五度角展開，做低身伏地姿態……」
空間動作已由骨骼線掌控。繪師應將提示詞空間徹底讓渡給質感、外貌、服飾和渲染媒介：
「賽博龐克風格機械武士，消光碳纖維鎧甲，發光青色迴路細節，霓虹雨夜反光地面，薄霧瀰漫，數位概念插畫，虛幻引擎5渲染，超高細節，電影級布光。」
這種提示詞分工避免了文字編碼器與空間張量之間的邏輯衝突。
第四步：調校三大核心控制參數
畫面是否生動、自然，取決於以下三組參數的精細配合：
- Control Weight（控制權重，建議 0.75 - 1.0）：
決定 ControlNet 特徵注入主幹 U-Net 時的乘法係數。預設值通常為
1.0。如果生成的人物動作過於生硬、宛如假人關節，或與預期服飾產生了僵化綁定，可將權重適度下調至0.8 - 0.85；若追求動作完全分毫不差，可設為1.0 - 1.1。 - Guidance Start Step（引導起始）與 Guidance End Step（引導終止，建議 0.7 - 0.85）：
在整個擴散步數中，前 60%-70% 的步數負責確立畫面的宏觀構圖、肢體分布與空間透視；而後 30% 的步數主要負責渲染皮膚紋理、髮絲、布料微褶等高頻細節。將 Guidance End Step 設為
0.75 - 0.8（即在總步數的 75% 處撤出控制介入），可以讓模型在最後階段自然柔化邊緣、合成真實材質，避免產生塑料感十足的僵硬描邊。 - Control Mode（控制模式傾向）：
- Balanced（平衡）：預設推薦，提示詞與空間控制均衡生效；
- My prompt is more important（提示詞更重要）：允許模型以風格和主題為先，將姿態作為柔性參考；
- ControlNet is more important（控制網更重要）：嚴格按控制網執行，適合產品結構展示或嚴謹工程圖。
進階技巧：多控制網（Multi-ControlNet）協同工作流程
成熟的概念插畫師常在 Web 端同時啟用兩個或多個 ControlNet 單元，以分別管理「角色肢體」與「背景透視」。
複雜環境下的主體定格（OpenPose + Depth）
在繪製人物處於繁複大場景（如宏偉哥德式教堂或星艦駕駛艙）中的插畫時：
- 單元 0（OpenPose）：上傳模特兒或木偶參考圖，鎖定主角的動態動作與手勢；
- 單元 1（Depth）：上傳 3D 灰模空間渲染圖或實景建築圖，鎖定立柱、地平線與門窗透視。
OpenPose 確保人物體態舒展自然，Depth 確保空間透視精準對齊，兩者疊加使主體能夠自然腳踏地面，杜絕人物懸空或與環境產生透視衝突。
角色造型與動態雙鎖定（OpenPose + Canny）
當創作者需要設計某個特定服裝在全新動作下的視覺表現時：
- 使用 OpenPose 鎖定嶄新的動態骨架；
- 使用次級 Canny 單元（配置較低權重如
0.4 - 0.5）引入服裝設計稿的剪裁硬邊。這樣模型既能舒展四肢，又能保持角色代表性服飾的外輪廓特徵。
常見問題診斷與排除
- 手部畸變與骨骼斷裂：
- 原因：當參考圖手部存在透視遮擋、逆光暗斑或畫質模糊時，基礎 OpenPose 極易漏檢關節點。
- 應對：在預處理器中改選識別精度更高的
dwpose；或者點擊預處理預覽（Preview Annotation），在網頁端的姿態編輯器中手動補全關節點，再將修正後的骨骼圖直接作為輸入，將預處理器設為none重新生成。
- 畫面過於死板、皮膚失去質感：
- 原因：Canny 或 OpenPose 的權重拉得過高（>1.2），且 Guidance End 一直持續到 1.0，扼殺了擴散模型合成自然高頻細節的自由度。
- 應對：將 Guidance End 調低至
0.75 - 0.8，並將 Control Weight 略微降至0.85。
- Canny 畫面帶有雜亂的背景幽靈線條：
- 原因：參考素材背景紋理過於複雜，被邊緣檢測器當成硬邊一併抓取。
- 應對：在 Web 介面中調高 Canny 的 Low Threshold 與 High Threshold，過濾掉微弱光影過渡，僅保留核心人物主體輪廓。
透過提示詞與構圖的邏輯解耦，結合 OpenPose、Canny 與 Depth 的參數化精調，數位創作者在 Stable Diffusion Web 端同樣能夠擺脫抽卡困擾，建立起工業級、可復現的高保真生圖工作流程。