如何在AI艺术中使用ControlNet——Stable Diffusion 2023教程

（原标题：How to use ControlNet in your AI Art - Stable Diffusion Tutorial 2023）

🛠️ 前置准备与模型配置

• 基础要求：需具备 Stable Diffusion 基础及 Auto1111 Web UI 使用经验。
• 核心组件：
• Checkpoint：推荐 Aeonimix 模型，开箱即用效果更佳。
• VAE：必须安装以优化图像质量，尤其是配合特定模型时。
• ControlNet 扩展：通过 GitHub 链接在扩展标签页安装，安装后需在“已安装”标签页激活并重启 UI。
• 多模型支持：在设置中启用 Multi ControlNet，建议设置为 2 或更多，以便叠加使用不同控制模型。
• 控制模型下载：
• Canny：基于 Canny 边缘检测算法，用于提取图像边缘结构。
• OpenPose：用于识别人物姿态并转换为骨架图。
• 安装路径：将下载的 `.safetensors` 文件放入 `extensions/sd-webui-controlnet/models` 文件夹，重载 UI 后即可在预处理器和模型列表中选择。

🎨 构图草图与预处理

• 草图制作：
• 工具：使用 Affinity Photo（一次性付费，非订阅制）。
• 尺寸设定：创建 3072x2048 像素画布。依据是 Stable Diffusion 训练数据为 512x512，3072 是 512 的 6 倍，2048 是 512 的 4 倍，保持长宽比一致。
• 内容构成：快速拼贴参考图（如 NASA 控制室、故障机器、触手、人物），无需精细编辑颜色和细节，重点在于构图、线条和大致轮廓。
• 人物参考：拍摄自己不同姿态的照片（如逃跑、握拳），穿着有明显轮廓特征的衣服（如带深色纽扣的衬衫），避免手部细节过多导致 AI 生成错误。
• 导出：保存为全分辨率 JPEG，命名为迭代版本（如 1）。

⚙️ ControlNet 参数设置与生成

• 基础设置：
• 标签页：Text to Image。
• 采样器：DDIM，步数 20，批量 4。
• 分辨率：768x512（与草图长宽比一致）。
• ControlNet 配置：
• 模型 0 (Canny)：
• 预处理器：Canny。
• 模型：Canny。
• 权重：初始 1.0，若构图过于僵硬可降至 0.5 以增加自由度。
• 画布尺寸：768x512。
• 模型 1 (OpenPose)：
• 预处理器：OpenPose。
• 模型：OpenPose。
• 权重：初始 1.0，若姿态过于受限可降至 0.5。
• 画布尺寸：768x512。
• 提示词策略：
• 描述场景核心元素（如 NASA 实验室、传送门、触手、穿西装逃跑的科学家）。
• 若特定元素（如触手）未生成，需在提示词中增加权重或强调描述。
• 迭代调整：
• 观察生成结果，若构图太死板，降低 Canny 权重；若姿态不准，调整 OpenPose 权重。
• 结合 Inpainting 修复局部细节（如面部表情、咖啡杯）。

🖌️ 局部重绘与细节优化

• 放大处理：
• 使用 Extras 标签页，选择 ESRGAN 4x 上采样器，将图像放大 4 倍，为后续高清重绘做准备。
• Inpainting 流程：
• 标签页：Image to Image。
• ControlNet：仅启用 OpenPose（若需控制人物姿态），禁用 Canny（构图已定）。
• 遮罩区域：仅遮罩需要修改的区域（如人物面部、怪物细节）。
• 关键设置：
• Inpaint Area：必须选择 "Only masked"，确保仅重绘遮罩区域，保留其他部分的高清细节。
• Denoising Strength：约 0.65，平衡变化与保留。
• 分辨率：根据遮罩区域长宽比调整（如垂直区域设为 512x768）。
• 提示词：具体描述重绘内容（如“惊恐的男人、蓝色西装、拿着咖啡杯”）。
• 细节修复：
• 针对 AI 生成瑕疵（如手部、面部表情），多次迭代 Inpainting。
• 利用备份图层在 Affinity Photo 中手动清理残留伪影。
• 逐步添加特效（如爆炸、火焰、玻璃碎片）以增强场景氛围。

📌 核心结论与注意事项

• ControlNet 优势：相比传统 Image-to-Image，ControlNet 不依赖颜色信息，更专注于结构和姿态，允许用户更精确地控制构图和人物动作，同时保留 AI 的创意发挥空间。
• 工作流建议：

1. 快速制作低精度构图草图。
2. 使用 Canny + OpenPose 双模型生成基础构图。
3. 调整权重平衡“控制”与“创意”。
4. 放大图像后，使用 Inpainting 逐区域细化细节。
5. 后期软件手动清理伪影并合成最终作品。

• 关键技巧：
• 人物参考图需避免复杂手部动作，穿着轮廓清晰的衣物。
• Inpainting 时务必设置 "Only masked" 并匹配遮罩区域分辨率，防止细节丢失。
• 提示词需具体且包含关键元素权重，以引导 AI 生成预期内容。