ComfyUI 生态系统已成长为最丰富的 AI 图像生成平台之一,而该生态系统的核心正是 Fannovel16 开发的 ComfyUI ControlNet Aux。这个开源扩展提供了超过 30 个预处理节点,用于提取 ControlNet 模型引导 AI 图像生成所需的提示图像。
ControlNet 通过引入空间控制机制从根本上改变了 AI 艺术——让艺术家精确定义物体出现的位置、姿势如何映射以及视觉风格的呈现。但 ControlNet 不能与原始图像直接配合使用。它需要预处理过的「提示图像」——边缘图、深度图、姿态骨架、分割叠加层——这些以模型能理解的格式编码空间信息。这就是 ControlNet Aux 的用武之地。
该扩展已成为全球 ComfyUI 用户不可或缺的工具,服务于从追求精确姿势控制的角色艺术家到在多视角生成一致建筑渲染的建筑设计师。其预处理器集合涵盖了几乎所有活跃使用的 ControlNet 模型,而 v2 迁移带来了显著的性能提升与统一的节点输出,以实现更好的工作流互通性。
graph TD
A[输入图像] --> B[ControlNet Aux 预处理器]
B --> C{预处理器类型}
C -->|线条| D[Canny / HED / SoftEdge]
C -->|深度| E[Depth Anything / Zoe / MiDaS]
C -->|姿态| F[OpenPose / DWPose / Face]
C -->|分割| G[SAM / OneFormer / Uniformer]
D --> H[线条提示图像]
E --> I[深度提示图像]
F --> J[骨架提示图像]
G --> K[分割提示图像]
H --> L[ControlNet 模型]
I --> L
J --> L
K --> L
L --> M[引导式图像生成]有哪些预处理器类别可用?
ControlNet Aux 将其 30 多种预处理器分为功能类别,每个类别在生成管道中服务于不同的控制目的。
| 类别 | 预处理器 | 最佳用途 | ControlNet 模型 |
|---|---|---|---|
| 线条/边缘 | Canny、HED、SoftEdge、MLSD、Scribble、LineArt、AnimeLineArt | 构图、轮廓、建筑图 | ControlNet-Canny、ControlNet-MLSD |
| 深度 | Depth Anything v2、Zoe Depth、MiDaS、LeReS、DPT | 3D 一致场景、多视角生成 | ControlNet-Depth、ControlNet-Zoe |
| 姿态/骨架 | OpenPose、DWPose、面部特征点、手部姿态 | 角色摆姿势、手势控制、人物绘画 | ControlNet-OpenPose |
| 分割 | SAM、OneFormer、Uniformer、BRS_Inference | 基于区域的生成、背景替换 | ControlNet-Seg(ADE20K) |
| 表面法线 | NormalBae、NNET | 材质渲染、表面细节保留 | ControlNet-Normal |
| 草图 | Scribble、PIDiNet | 快速草图、粗略方向输入 | ControlNet-Scribble |
预处理器的选择直接影响您对生成图像的控制质量与类型。例如,Canny 边缘检测会产生清晰、高对比的线条图,适用于建筑渲染,但对于有机主体可能过于严格。相反,深度预处理器在保持生成帧间一致透视的同时,给模型更多的空间自由度。
从旧版节点迁移到 v2 如何工作?
转换到 ControlNet Aux v2 是一项重大的破坏性变更,影响了现有工作流。理解迁移路径对于任何维护 ComfyUI 环境的人来说至关重要。
flowchart LR
A[旧版 v1 节点] --> B{自动迁移}
B --> C[运行迁移工具]
C --> D[转换节点引用]
D --> E[v2 兼容工作流]
E --> F{节点冲突?}
F -->|是| G[禁用旧的自定义节点]
F -->|否| H[准备运行]
G --> H| 迁移方面 | 旧版(v1) | v2 | 影响 |
|---|---|---|---|
| 节点命名 | CannyPreprocessor | ControlNetPreprocessor | 工作流 JSON 引用中断 |
| 输出格式 | 类别特定 | 统一张量 | 改善下游节点兼容性 |
| 模型加载 | 每节点加载模型 | 集中式模型缓存 | 首次运行更快、磁盘占用更小 |
| 自定义节点依赖 | 手动安装 | 自动下载缺失模型 | 更自包含 |
新版本 ControlNet Aux 内置的迁移工具可以自动改写工作流 JSON 文件以使用 v2 节点引用。如果您更新后在 ComfyUI 中看到红色错误节点,运行迁移通常是第一个故障排除步骤。
驱动高级工作流的关键功能有哪些?
除了基本预处理,ControlNet Aux 还包含多项支持复杂生成管道的高级功能。
| 功能 | 能力 | 示例用例 |
|---|---|---|
| 分辨率无关的预处理 | 适用于任何输入分辨率 | 批次放大工作流 |
| 预处理器堆叠 | 链结多个预处理器 | Canny + Depth 混合建筑控制 |
| 模型自动下载 | 首次使用时下载模型 | 一键设置新预处理器 |
| 统一输出张量 | 所有节点标准化输出 | 无需重新连接即可切换预处理器 |
| 批次支持 | 高效处理多个图像 | 跨整个角色表进行风格转换 |
这些功能使 ControlNet Aux 成为高级 ComfyUI 管道的骨干,从 AI 角色一致性工作流 到建筑可视化套件与动画帧插值系统。
如何安装与配置 ControlNet Aux?
安装可以通过 ComfyUI Manager 或直接克隆仓库完成。
方法 1 – ComfyUI Manager(推荐)
- 从主界面打开 ComfyUI Manager
- 搜索「ControlNet Aux」
- 点击安装并重启 ComfyUI
方法 2 – 手动安装
cd ComfyUI/custom_nodes/
git clone https://github.com/Fannovel16/comfyui_controlnet_aux
pip install -r requirements.txt
安装后,重启 ComfyUI。新的预处理器节点会出现在节点菜单的「ControlNet Preprocessor」类别下。某些预处理器需要在首次使用时下载模型,这会在后台自动进行。
FAQ
什么是 ComfyUI ControlNet Aux? ComfyUI ControlNet Aux 是 Fannovel16 开发的开源扩展,为 ComfyUI 新增 30 多个预处理节点,可提取线稿、深度图、姿态骨架与分割遮罩等 ControlNet 提示图像,用于受控的 AI 图像生成。
支持哪些预处理器类别? 支持线条提取(Canny、HED、SoftEdge、MLSD)、深度映射(Depth Anything v2、Zoe Depth、MiDaS)、姿态估计(OpenPose、DWPose、面部特征点)、分割(SAM、OneFormer、Uniformer),以及法线贴图与 AnimeLineArt 等专门处理器。
线条、深度与姿态预处理器有何不同? 线条预处理器提取结构轮廓用于构图控制。深度预处理器生成灰度深度图以确保场景间的空间一致性。姿态预处理器产生骨架叠加层用于引导人物定位,可在生成的图像中精确控制解剖结构。
如何安装 ComfyUI ControlNet Aux? 通过 ComfyUI Manager 搜索「ControlNet Aux」并点击安装。或者直接将仓库克隆到 ComfyUI 的 custom_nodes 目录:‘git clone https://github.com/Fannovel16/comfyui_controlnet_aux' 并重启 ComfyUI。
迁移到 ControlNet Aux v2 是否会破坏现有工作流? 从旧版节点迁移到 ControlNet Aux v2 改变了节点命名约定与内部 API。内置的迁移工具可将您旧的工作流转换为 v2 版本。迁移后,请清除或禁用旧的旧版自定义节点以防止节点冲突。
延伸阅读
- ComfyUI ControlNet Aux GitHub 仓库 – 源代码、问题与使用示例
- ControlNet 官方论文 – 原始研究,介绍扩散模型的空间条件控制
- ComfyUI Manager – 管理自定义节点安装的推荐工具
- Depth Anything v2 论文 – 用于预处理器的先进单眼深度估计
無程式碼也能輕鬆打造專業LINE官方帳號!一鍵導入模板,讓AI助你行銷加分!