Tags

OpenAI 兼容

LocalAI:自托管 OpenAI API 兼容推理服务器
AI

LocalAI:自托管 OpenAI API 兼容推理服务器

在本地运行 AI 模型具有无可否认的优势:完全的数据隐私、无需 API 费用、离线操作,以及对模型选择和配置的完全控制。但用本地 AI 服务替代云 AI 服务通常需要拼凑不同的工具——一个用于 LLM,另一个用于图片生成,第三个用于语音识别。LocalAI 通过提供一个单一的、OpenAI …

LiteLLM:支持 100+ LLM 供应商的开源 AI 网关
AI

LiteLLM:支持 100+ LLM 供应商的开源 AI 网关

大型语言模型供应商的快速增长为开发者带来了新的挑战:每个供应商都有自己的 API 格式、认证方法、定价模型和功能集。与多个供应商集成——甚至是在它们之间切换——传统上需要重写大量的集成代码。LiteLLM 通过提供一个统一的、OpenAI 兼容的接口来解决这个问题,该接口可与超过 100 …

TAG
CATEGORIES