Xorbits

Xorbits Inference：可擴展的 LLM 服務平台

在生產環境中部署大型語言模型與訓練它們是完全不同的挑戰。訓練需要大規模叢集和數週的運算時間，但可以容忍批次處理和可變吞吐量。生產推論需要一致的亞秒級延遲、彈性擴展以應對流量高峰、跨不同硬體配置的多模型管理，以及對每個請求的可觀測性。訓練好的模型與生產級服務基礎設施之間的差距是巨大的。