Tags

GPU

ExLlamaV3:高效能 LLM 推論引擎
AI

ExLlamaV3:高效能 LLM 推論引擎

在消費級硬體上執行大型語言模型需要高效的推論引擎,從可用的 GPU 記憶體中榨取每一滴效能。由 turboderp 團隊開發的 ExLlamaV3 是可用的最快推論引擎之一,特別是使用 EXL3 量化格式時。 ExLlamaV3 透過最佳化 CUDA 核心、高效記憶體管理和量化感知運算的組 …

TensorRT-LLM:NVIDIA 的開源最佳化 LLM 推論函式庫
AI

TensorRT-LLM:NVIDIA 的開源最佳化 LLM 推論函式庫

將大型語言模型部署到生產環境中,不僅僅是將權重載入 GPU 而已。要達到可接受的吞吐量和延遲,您需要核心融合、注意力機制最佳化、記憶體管理和量化——所有這些都要針對您的特定硬體進行調整。NVIDIA 的 TensorRT-LLM 在一個開源函式庫中提供了所有這些功能,從 NVIDIA …

TAG