Categories

AI 基礎設施

Higress:阿里巴巴基於 Istio 和 Envoy 的雲原生 AI 閘道
開源

Higress:阿里巴巴基於 Istio 和 Envoy 的雲原生 AI 閘道

隨著 AI 應用從原型走向生產,管理 LLM API 流量的基礎設施層變得至關重要。組織需要將請求路由到正確的模型、以 Token 級別的速率限制控制成本、智慧地快取回應,以及跨團隊和應用監控使用情況。Higress 作為一個基於經過實戰考驗的 Istio 和 Envoy 基礎建置的雲原生 …

TAG