Tags

LLM Inference

ExLlamaV3:高效能 LLM 推論引擎
AI

ExLlamaV3:高效能 LLM 推論引擎

在消費級硬體上執行大型語言模型需要高效的推論引擎,從可用的 GPU 記憶體中榨取每一滴效能。由 turboderp 團隊開發的 ExLlamaV3 是可用的最快推論引擎之一,特別是使用 EXL3 量化格式時。 ExLlamaV3 透過最佳化 CUDA 核心、高效記憶體管理和量化感知運算的組 …

KTransformers:具有進階核心最佳化的靈活 LLM 推理
AI

KTransformers:具有進階核心最佳化的靈活 LLM 推理

LLM 推理的效率直接決定了 AI 應用程式的成本、延遲和可擴展性。KTransformers(GitHub 上的 kvcache-ai/ktransformers)是一個靈活的推理框架,透過核心級最佳化推動了可實現的邊界,從而在生產環境中實現更快、更具成本效益的大型語言模型部署。

TensorRT-LLM:NVIDIA 的開源最佳化 LLM 推論函式庫
AI

TensorRT-LLM:NVIDIA 的開源最佳化 LLM 推論函式庫

將大型語言模型部署到生產環境中,不僅僅是將權重載入 GPU 而已。要達到可接受的吞吐量和延遲,您需要核心融合、注意力機制最佳化、記憶體管理和量化——所有這些都要針對您的特定硬體進行調整。NVIDIA 的 TensorRT-LLM 在一個開源函式庫中提供了所有這些功能,從 NVIDIA …

TAG