TensorRT-LLM

TensorRT-LLM：NVIDIA 的開源最佳化 LLM 推論函式庫

將大型語言模型部署到生產環境中，不僅僅是將權重載入 GPU 而已。要達到可接受的吞吐量和延遲，您需要核心融合、注意力機制最佳化、記憶體管理和量化——所有這些都要針對您的特定硬體進行調整。NVIDIA 的 TensorRT-LLM 在一個開源函式庫中提供了所有這些功能，從 NVIDIA …