ComfyUI-Copilot：由 AI 驅動的助手，實現自動化工作流程開發

ComfyUI 已成為 Stable Diffusion 圖片生成領域主流的節點式介面，透過其視覺化程式設計範例提供了前所未有的靈活性。但這種靈活性伴隨著陡峭的學習曲線：構建即使是基本的工作流程也需要理解模型檢查點、VAE、CLIP 嵌入、取樣器、排程器、潛在空間以及它們之間錯綜複雜的連接。ComfyUI-Copilot 旨在透過將 AI 助手直接嵌入到節點編輯器中，完全消除這個學習曲線。

由 AIDC-AI 研究團隊開發，ComfyUI-Copilot 是一個將大型語言模型能力整合到 ComfyUI 環境中的自訂節點。與靜態文件或外部教學不同，Copilot 直接在畫布內運作。使用者以自然語言描述他們想要建立的內容，系統就會生成對應的工作流程，包含正確連接的節點、正確的參數值以及推薦的模型選擇。

該專案隨著 2.0 版本的發佈而獲得重大關注，2.0 版本引入了完整的多代理架構。v2.0 不是由單一 LLM 調用生成工作流程，而是部署了一組專門的代理——每個代理負責工作流程開發的不同面向——它們反覆協作。這個架構嚴謹到足以被 ACL 2025（計算語言學頂級學術會議）接受，標誌著實用創意工具與同儕審查研究的罕見交集。

ComfyUI-Copilot v2.0 中的多代理架構如何運作？

v2.0 架構——稱為「Agent Nest」——將工作流程建立任務分解為五個專門角色，作為一個協調團隊運作：

graph TB
    User[使用者：自然語言請求] --> RM[路由管理器]
    RM --> Node[節點代理：<br>工作流程拓撲]
    RM --> Debug[除錯代理：<br>錯誤診斷]
    RM --> Config[配置代理：<br>模型與參數調整]
    RM --> Opt[最佳化代理：<br>效能改善]
    RM --> Prompt[提示詞工程代理：<br>文字提示詞最佳化]
    Node --> Workflow[生成的工作流程 JSON]
    Debug --> Workflow
    Config --> Workflow
    Opt --> Workflow
    Prompt --> Workflow
    Workflow --> CAN[共識聚合網路]
    CAN --> Final[最終驗證的工作流程]

路由管理器協調對話流程，根據使用者的請求決定要調用哪個代理。共識聚合網路 (CAN) 然後將來自多個代理的輸出協調為單一、連貫的工作流程 JSON，可直接載入到 ComfyUI 中。

你可以用 ComfyUI-Copilot 建立什麼？

ComfyUI-Copilot 處理 ComfyUI 工作流程的全部複雜度範圍，從基本的單模型生成到進階的多階段管線：

sequenceDiagram
    participant User as 使用者
    participant Chat as Copilot 聊天面板
    participant Agents as 多代理系統
    participant Canvas as ComfyUI 畫布
    participant LLM as 外部 LLM API

    User->>Chat: "建立一個使用 IP-Adapter<br>的圖片轉圖片工作流程"
    Chat->>LLM: 發送請求 + 上下文
    LLM-->>Agents: 分解為代理任務
    Agents->>Agents: 節點代理生成拓撲
    Agents->>Agents: 配置代理設定參數
    Agents->>Agents: 共識聚合
    Agents-->>Canvas: 輸出工作流程 JSON
    Canvas-->>User: 顯示視覺化工作流程
    User->>Chat: "臉看起來不對"
    Chat->>Agents: 除錯代理分析
    Agents-->>Canvas: 建議修復：加入人臉修復節點
    Canvas-->>User: 更新工作流程，已套用修復

ComfyUI-Copilot 實戰：工作流程建立範例

典型的互動從使用者在 Copilot 聊天面板中輸入自然語言請求開始，該面板位於 ComfyUI 畫布旁邊。例如：

“建立一個使用 Realistic Vision 作為檢查點的圖片轉圖片工作流程，搭配 Canny ControlNet 進行結構保留。生成 1024x768 的圖片，使用 30 步 DDIM 取樣，CFG 尺度為 7。最後加入人臉修復模型。”

Copilot 透過其代理管線處理這個請求，並在幾秒內在畫布上輸出完整的工作流程。節點已完全連接，檢查點已設定（或標記為需要下載），所有參數都符合使用者的規格。使用者隨後可以手動調整個別節點，或透過後續對話要求 Copilot 最佳化特定方面。

系統需求與設定

該節點本身很輕量——它不會載入本地 LLM 或消耗超過典型推理調用所需的 GPU VRAM。所有 LLM 處理都透過外部 API 調用進行。對於偏好本地推理的使用者，系統支援使用相容模型的 Ollama 和 vLLM 後端，不過品質和速度取決於本地模型的能力。

關於 ComfyUI-Copilot 的常見問題