Tags

LLM 推理

LocalAI:自託管 OpenAI API 相容推理伺服器
AI

LocalAI:自託管 OpenAI API 相容推理伺服器

在本地運行 AI 模型具有不可否認的優勢:完整的資料隱私、無 API 成本、離線操作以及對模型選擇和配置的完全控制。但用本地替代方案取代雲端 AI 服務通常需要拼湊不同的工具——一個用於 LLM,另一個用於圖像生成,第三個用於語音辨識。LocalAI 透過提供一個單一的 OpenAI …

llama.cpp:在 CPU 和 GPU 上進行高效能 LLM 推理
AI

llama.cpp:在 CPU 和 GPU 上進行高效能 LLM 推理

在完全使用自己的硬體上運行強大的語言模型,無需將資料發送到雲端 API 的夢想,曾經被認為對於大型科技公司以外的任何人來說都是不切實際的。llama.cpp 打破了這個假設。這個單一標頭檔的 C++ 實作已成為在本地運行 LLM 最受歡迎的工具,在幾乎所有硬體配置上都實現了 AI 計算的普 …

TAG