Higress：阿里巴巴基於 Istio 和 Envoy 的雲原生 AI 閘道

隨著 AI 應用從原型走向生產，管理 LLM API 流量的基礎設施層變得至關重要。組織需要將請求路由到正確的模型、以 Token 級別的速率限制控制成本、智慧地快取回應，以及跨團隊和應用監控使用情況。Higress 作為一個基於經過實戰考驗的 Istio 和 Envoy 基礎建置的雲原生 AI 閘道，應對了所有這些需求。

由阿里巴巴開發的 Higress 將傳統 API 閘道概念擴展，加入原生 AI 能力。它理解 LLM 請求語義——Token、模型、串流回應和提示結構——實現了遠遠超越通用 API 閘道所能提供的智慧流量管理。

該閘道的 Istio 基礎架構意味著它可以無縫整合到 Kubernetes 環境中，支援服務網格部署模式、宣告式配置和 GitOps 工作流程。對於已經在使用 Istio 的組織，Higress 可以嵌入現有基礎設施，無需架構變更。

Higress 提供哪些 AI 特定功能？

Higress 的 AI 功能使其與傳統 API 閘道區別開來，提供專為 LLM 應用設計的能力。

graph TD
    A[客戶端應用程式] --> B[Higress AI 閘道]
    B --> C[多模型 LLM 代理]
    B --> D[Token 速率限制]
    B --> E[語義 AI 快取]
    B --> F[MCP 伺服器託管]
    B --> G[提示管理]
    C --> H[OpenAI API]
    C --> I[Anthropic API]
    C --> J[自行託管模型]
    C --> K[模型備援鏈]
    E --> L[語義快取儲存]
    F --> M[MCP 工具]

語義快取功能對生產部署尤其有價值。當使用者提出類似問題時，閘道可以回傳快取的回應——不僅是相同的回應，還有語義上相似的回應——大幅降低 API 成本。

Higress 與其他 API 閘道相比如何？

API 閘道領域有許多選擇，但 Higress 的 AI 原生設計為 LLM 工作負載提供了明顯的優勢。

對於在 Kubernetes 上建置 AI 應用的團隊，Higress 為 LLM API 管理提供了最完整的開箱即用功能集，減少了拼湊多個外掛或自訂中介軟體的需求。

Higress 支援哪些傳統 API 閘道功能？

除了 AI 能力外，Higress 還是一個功能完整的企業級 API 閘道，適用於所有服務間通訊。

常見問題

什麼是 Higress？ Higress 是阿里巴巴開發的雲原生 AI 閘道，基於 Istio 和 Envoy 建置，具備多模型 LLM 代理、Token 速率限制、AI 快取和 MCP 伺服器託管等原生 AI 功能。

Higress 提供哪些 AI 特定功能？ 多模型 LLM 代理、Token 速率限制、語義 AI 快取、MCP 伺服器託管、提示工程和 AI 可觀察性。

Higress 可以在不使用 AI 功能的情況下使用嗎？ 是的，它也是一個功能完整的傳統雲原生 API 閘道。AI 功能是可選附加功能。

如何開始使用 Higress？ 透過 Helm 在 Kubernetes 上部署，或使用 Docker Compose 進行本地測試。

哪些企業使用 Higress？ 阿里雲、淘寶和各種企業客戶，每天處理數十億次 API 呼叫。

延伸閱讀

• Higress GitHub 儲存庫 – 原始碼、Helm charts 和文件
• Higress 官方文件 – 部署指南、API 參考和教學
• 阿里雲上的 Higress – 阿里雲上的受管 Higress 服務
• Envoy Proxy 文件 – Higress 使用的底層代理
• Istio Service Mesh – 與 Higress 整合的服務網格平台