ComfyUI-Copilot：由 AI 驱动的助手，实现自动化工作流开发

ComfyUI 已成为 Stable Diffusion 图片生成领域主流的节点式界面，通过其可视化编程范式提供了前所未有的灵活性。但这种灵活性伴随着陡峭的学习曲线：构建即使是基本的工作流也需要理解模型检查点、VAE、CLIP 嵌入、采样器、调度器、潜在空间以及它们之间错综复杂的连接。ComfyUI-Copilot 旨在通过将 AI 助手直接嵌入到节点编辑器中，完全消除这个学习曲线。

由 AIDC-AI 研究团队开发，ComfyUI-Copilot 是一个将大型语言模型能力整合到 ComfyUI 环境中的自定义节点。与静态文档或外部教程不同，Copilot 直接在画布内运作。用户以自然语言描述他们想要创建的内容，系统就会生成对应的工作流，包含正确连接的节点、正确的参数值以及推荐的模型选择。

该项目随着 2.0 版本的发布而获得重大关注，2.0 版本引入了完整的多智能体架构。v2.0 不是由单个 LLM 调用生成工作流，而是部署了一组专门的智能体——每个智能体负责工作流开发的不同方面——它们反复协作。这个架构严谨到足以被 ACL 2025（计算语言学顶级学术会议）接收，标志着实用创意工具与同行评审研究的罕见交集。

ComfyUI-Copilot v2.0 中的多智能体架构如何运作？

v2.0 架构——称为"Agent Nest"——将工作流创建任务分解为五个专门角色，作为一个协调团队运作：

graph TB
    User[用户：自然语言请求] --> RM[路由管理器]
    RM --> Node[节点智能体：<br>工作流拓扑]
    RM --> Debug[调试智能体：<br>错误诊断]
    RM --> Config[配置智能体：<br>模型与参数调优]
    RM --> Opt[优化智能体：<br>性能改善]
    RM --> Prompt[提示词工程智能体：<br>文本提示词优化]
    Node --> Workflow[生成的工作流 JSON]
    Debug --> Workflow
    Config --> Workflow
    Opt --> Workflow
    Prompt --> Workflow
    Workflow --> CAN[共识聚合网络]
    CAN --> Final[最终验证的工作流]

路由管理器协调对话流程，根据用户的请求决定调用哪个智能体。共识聚合网络 (CAN) 然后将来自多个智能体的输出协调为单一、连贯的工作流 JSON，可直接加载到 ComfyUI 中。

你可以用 ComfyUI-Copilot 创建什么？

ComfyUI-Copilot 处理 ComfyUI 工作流的全部复杂度范围，从基本的单模型生成到高级的多阶段流水线：

sequenceDiagram
    participant User as 用户
    participant Chat as Copilot 聊天面板
    participant Agents as 多智能体系统
    participant Canvas as ComfyUI 画布
    participant LLM as 外部 LLM API

    User->>Chat: "创建一个使用 IP-Adapter<br>的图片转图片工作流"
    Chat->>LLM: 发送请求 + 上下文
    LLM-->>Agents: 分解为智能体任务
    Agents->>Agents: 节点智能体生成拓扑
    Agents->>Agents: 配置智能体设置参数
    Agents->>Agents: 共识聚合
    Agents-->>Canvas: 输出工作流 JSON
    Canvas-->>User: 显示可视化工作流
    User->>Chat: "脸看起来不对"
    Chat->>Agents: 调试智能体分析
    Agents-->>Canvas: 建议修复：添加人脸修复节点
    Canvas-->>User: 更新工作流，已应用修复

ComfyUI-Copilot 实战：工作流创建示例

典型的交互从用户在 Copilot 聊天面板中输入自然语言请求开始，该面板位于 ComfyUI 画布旁边。例如：

“创建一个使用 Realistic Vision 作为检查点的图片转图片工作流，搭配 Canny ControlNet 进行结构保留。生成 1024x768 的图片，使用 30 步 DDIM 采样，CFG 尺度为 7。最后添加人脸修复模型。”

Copilot 通过其智能体流水线处理这个请求，并在几秒内在画布上输出完整的工作流。节点已完全连接，检查点已设置（或标记为需要下载），所有参数都符合用户的规格。用户随后可以手动调整个别节点，或通过后续对话要求 Copilot 优化特定方面。

系统需求与设置

该节点本身很轻量——它不会加载本地 LLM 或消耗超过典型推理调用所需的 GPU VRAM。所有 LLM 处理都通过外部 API 调用进行。对于偏好本地推理的用户，系统支持使用兼容模型的 Ollama 和 vLLM 后端，不过质量和速度取决于本地模型的能力。

关于 ComfyUI-Copilot 的常见问题