AI

Harbor:一鍵啟動容器化 LLM 堆疊,打造本機 AI 開發環境

Harbor 是一個容器化 LLM 工具包,只需一條命令即可啟動完整的預配接 AI 堆疊,包含 Ollama、Open WebUI、ComfyUI 等。

Keeping this site alive takes effort — your support means everything.
無程式碼也能輕鬆打造專業LINE官方帳號!一鍵導入模板,讓AI助你行銷加分! 無程式碼也能輕鬆打造專業LINE官方帳號!一鍵導入模板,讓AI助你行銷加分!
Harbor:一鍵啟動容器化 LLM 堆疊,打造本機 AI 開發環境

本機 AI 工具的爆炸性成長帶來了一個新問題:設定完整的本機 AI 開發環境需要安裝和配置多個獨立的服務,每個服務都有自己的依賴項、配置和網路需求。Harbor 只需一條 docker compose up 命令就能解決這個問題,在本機機器上啟動整個預配接的 AI 堆疊。

作為一個開源專案開發,Harbor 將最受歡迎的本機 AI 工具打包成一個緊密的容器化堆疊。只需一條命令,您就能獲得提供本機 LLM 服務的 Ollama、提供 ChatGPT 相容聊天介面的 Open WebUI、用於影像生成工作流程的 ComfyUI,以及可選元件如用於向量儲存的 ChromaDB、用於持久化的 PostgreSQL 以及各種監控和管理工具。

Harbor 在希望嘗試本機 AI 模型而又不花費數小時設定的 AI 開發者和愛好者中特別受歡迎。它還作為團隊部署 AI 基礎設施的參考架構,展示了如何將現代 AI 堆疊的各個元件連接在一起。該專案的 Docker Compose 配置設計為既全面又易於理解,使其易於學習和改編。


Harbor 的架構如何連接各元件?

Harbor 的架構圍繞「預配接連接」的原則設計──每個元件都配置為與其他元件開箱即用。

graph TD
    A[Docker Compose] --> B[Harbor 網路]
    B --> C[Ollama]
    B --> D[Open WebUI]
    B --> E[ComfyUI]
    B --> F[ChromaDB]
    B --> G[PostgreSQL]
    H[使用者瀏覽器] --> D
    H --> E
    C --> I[本機 LLM]
    D --> C
    E --> F
    D --> G
    D --> F

Harbor 自動處理的關鍵接線包括:Open WebUI 連接到 Ollama 進行模型推論,ComfyUI 存取 Ollama 進行文字編碼,兩個服務共享相同的 GPU 資源,ChromaDB 為 RAG 工作流程提供向量儲存,以及 PostgreSQL 持久化聊天歷史和使用者資料。


Harbor 堆疊包含哪些元件?

Harbor 提供一組模組化元件,可根據您的需求啟用或停用。

元件用途預設Docker 映像
Ollama本機 LLM 服務啟用ollama/ollama
Open WebUI聊天介面啟用ghcr.io/open-webui/open-webui
ComfyUI影像生成停用comfyui/comfyui
ChromaDB向量資料庫停用chromadb/chroma
PostgreSQL關聯式資料庫停用postgres:16
pgAdmin資料庫管理停用dpage/pgadmin4
Watchtower自動更新容器停用containrrr/watchtower

每個元件都定義為一個 Docker Compose 服務,具有預先配置的環境變數、磁碟區掛載和網路設定。啟用額外元件通常只需要在 docker-compose.yml 檔案中取消註解幾行。


如何為不同使用案例配置 Harbor?

Harbor 的靈活性來自其環境變數配置和 Docker Compose 設定檔。

使用案例啟用元件配置說明
基本 LLM 聊天Ollama + Open WebUI設定 OLLAMA_MODELS 以指定預設模型
RAG 原型+ ChromaDB在 Open WebUI 中配置嵌入模型
影像生成+ ComfyUI需要 GPU,設定 COMFYUI_MODELS
完整開發所有元件需要 16GB+ RAM,建議配備 GPU
輕量級僅 Open WebUI在另一台機器上使用 Ollama
CI 測試僅 Ollama最小資源佔用

配置透過專案根目錄中的 .env 檔案處理。Harbor 包含一個全面的 .env.example 檔案,其中包含每個設定的詳細註解。


Harbor 有什麼硬體需求?

硬體需求根據您啟用的元件和執行的模型而有顯著差異。

配置最低 RAM建議 RAMGPU儲存
Harbor + Ollama (聊天)8 GB16 GB可選10-50 GB
Harbor + Ollama (RAG)16 GB32 GB可選20-100 GB
Harbor + Ollama + ComfyUI16 GB32 GB8GB+ 視訊記憶體50-200 GB
Harbor 完整堆疊32 GB64 GB12GB+ 視訊記憶體100-500 GB

Ollama 可以在僅 CPU 的系統上執行小型模型(3B-13B 參數),但較大模型(30B+)和 ComfyUI 影像生成需要具備能力的 GPU。Harbor 在可用時會自動將 GPU 設備暴露給容器。


FAQ

什麼是 Harbor? Harbor 是一個開源的容器化 LLM 工具包,只需一條 Docker Compose 命令即可啟動完整的預配接 AI 堆疊——包括 Ollama、Open WebUI、ComfyUI 等——用於本機 AI 開發。

Harbor 堆疊包含哪些元件? Harbor 包含用於本機模型服務的 Ollama、類似 ChatGPT 介面的 Open WebUI、用於 Stable Diffusion 工作流程的 ComfyUI,以及可選元件如用於向量儲存的 ChromaDB、用於持久化的 PostgreSQL 和監控工具。

如何開始使用 Harbor? 您需要安裝 Docker 和 Docker Compose。複製倉庫,可選編輯配置,然後執行 docker compose up。Harbor 會自動下載並啟動所有元件。

我可以自訂 Harbor 部署哪些元件嗎? 可以,Harbor 使用可組合的 Docker Compose 設定檔和環境變數。您可以啟用或停用個別元件、配置連接埠、設定資源限制,並透過配置使用不同的模型後端。

Harbor 適合生產環境部署嗎? Harbor 主要設計用於本機開發和原型設計。對於生產用途,它提供了一個堅實的基礎,可以透過新增安全、擴展和監控基礎設施來進行調整。


延伸閱讀

TAG