本機 AI 工具的爆炸性成長帶來了一個新問題:設定完整的本機 AI 開發環境需要安裝和配置多個獨立的服務,每個服務都有自己的依賴項、配置和網路需求。Harbor 只需一條 docker compose up 命令就能解決這個問題,在本機機器上啟動整個預配接的 AI 堆疊。
作為一個開源專案開發,Harbor 將最受歡迎的本機 AI 工具打包成一個緊密的容器化堆疊。只需一條命令,您就能獲得提供本機 LLM 服務的 Ollama、提供 ChatGPT 相容聊天介面的 Open WebUI、用於影像生成工作流程的 ComfyUI,以及可選元件如用於向量儲存的 ChromaDB、用於持久化的 PostgreSQL 以及各種監控和管理工具。
Harbor 在希望嘗試本機 AI 模型而又不花費數小時設定的 AI 開發者和愛好者中特別受歡迎。它還作為團隊部署 AI 基礎設施的參考架構,展示了如何將現代 AI 堆疊的各個元件連接在一起。該專案的 Docker Compose 配置設計為既全面又易於理解,使其易於學習和改編。
Harbor 的架構如何連接各元件?
Harbor 的架構圍繞「預配接連接」的原則設計──每個元件都配置為與其他元件開箱即用。
graph TD
A[Docker Compose] --> B[Harbor 網路]
B --> C[Ollama]
B --> D[Open WebUI]
B --> E[ComfyUI]
B --> F[ChromaDB]
B --> G[PostgreSQL]
H[使用者瀏覽器] --> D
H --> E
C --> I[本機 LLM]
D --> C
E --> F
D --> G
D --> F
Harbor 自動處理的關鍵接線包括:Open WebUI 連接到 Ollama 進行模型推論,ComfyUI 存取 Ollama 進行文字編碼,兩個服務共享相同的 GPU 資源,ChromaDB 為 RAG 工作流程提供向量儲存,以及 PostgreSQL 持久化聊天歷史和使用者資料。
Harbor 堆疊包含哪些元件?
Harbor 提供一組模組化元件,可根據您的需求啟用或停用。
| 元件 | 用途 | 預設 | Docker 映像 |
|---|---|---|---|
| Ollama | 本機 LLM 服務 | 啟用 | ollama/ollama |
| Open WebUI | 聊天介面 | 啟用 | ghcr.io/open-webui/open-webui |
| ComfyUI | 影像生成 | 停用 | comfyui/comfyui |
| ChromaDB | 向量資料庫 | 停用 | chromadb/chroma |
| PostgreSQL | 關聯式資料庫 | 停用 | postgres:16 |
| pgAdmin | 資料庫管理 | 停用 | dpage/pgadmin4 |
| Watchtower | 自動更新容器 | 停用 | containrrr/watchtower |
每個元件都定義為一個 Docker Compose 服務,具有預先配置的環境變數、磁碟區掛載和網路設定。啟用額外元件通常只需要在 docker-compose.yml 檔案中取消註解幾行。
如何為不同使用案例配置 Harbor?
Harbor 的靈活性來自其環境變數配置和 Docker Compose 設定檔。
| 使用案例 | 啟用元件 | 配置說明 |
|---|---|---|
| 基本 LLM 聊天 | Ollama + Open WebUI | 設定 OLLAMA_MODELS 以指定預設模型 |
| RAG 原型 | + ChromaDB | 在 Open WebUI 中配置嵌入模型 |
| 影像生成 | + ComfyUI | 需要 GPU,設定 COMFYUI_MODELS |
| 完整開發 | 所有元件 | 需要 16GB+ RAM,建議配備 GPU |
| 輕量級 | 僅 Open WebUI | 在另一台機器上使用 Ollama |
| CI 測試 | 僅 Ollama | 最小資源佔用 |
配置透過專案根目錄中的 .env 檔案處理。Harbor 包含一個全面的 .env.example 檔案,其中包含每個設定的詳細註解。
Harbor 有什麼硬體需求?
硬體需求根據您啟用的元件和執行的模型而有顯著差異。
| 配置 | 最低 RAM | 建議 RAM | GPU | 儲存 |
|---|---|---|---|---|
| Harbor + Ollama (聊天) | 8 GB | 16 GB | 可選 | 10-50 GB |
| Harbor + Ollama (RAG) | 16 GB | 32 GB | 可選 | 20-100 GB |
| Harbor + Ollama + ComfyUI | 16 GB | 32 GB | 8GB+ 視訊記憶體 | 50-200 GB |
| Harbor 完整堆疊 | 32 GB | 64 GB | 12GB+ 視訊記憶體 | 100-500 GB |
Ollama 可以在僅 CPU 的系統上執行小型模型(3B-13B 參數),但較大模型(30B+)和 ComfyUI 影像生成需要具備能力的 GPU。Harbor 在可用時會自動將 GPU 設備暴露給容器。
FAQ
什麼是 Harbor? Harbor 是一個開源的容器化 LLM 工具包,只需一條 Docker Compose 命令即可啟動完整的預配接 AI 堆疊——包括 Ollama、Open WebUI、ComfyUI 等——用於本機 AI 開發。
Harbor 堆疊包含哪些元件? Harbor 包含用於本機模型服務的 Ollama、類似 ChatGPT 介面的 Open WebUI、用於 Stable Diffusion 工作流程的 ComfyUI,以及可選元件如用於向量儲存的 ChromaDB、用於持久化的 PostgreSQL 和監控工具。
如何開始使用 Harbor?
您需要安裝 Docker 和 Docker Compose。複製倉庫,可選編輯配置,然後執行 docker compose up。Harbor 會自動下載並啟動所有元件。
我可以自訂 Harbor 部署哪些元件嗎? 可以,Harbor 使用可組合的 Docker Compose 設定檔和環境變數。您可以啟用或停用個別元件、配置連接埠、設定資源限制,並透過配置使用不同的模型後端。
Harbor 適合生產環境部署嗎? Harbor 主要設計用於本機開發和原型設計。對於生產用途,它提供了一個堅實的基礎,可以透過新增安全、擴展和監控基礎設施來進行調整。
延伸閱讀
- Harbor GitHub 倉庫 – 原始碼、配置和設定指南
- Ollama 官方網站 – 用於模型服務的本機 LLM 執行階段
- Open WebUI 文件 – 本機 LLM 的類 ChatGPT 介面
- ComfyUI GitHub 倉庫 – 基於節點的 Stable Diffusion 工作流程工具
- Docker Compose 文件 – Harbor 所基於的編排工具
無程式碼也能輕鬆打造專業LINE官方帳號!一鍵導入模板,讓AI助你行銷加分!