TensorRT-LLM

TensorRT-LLM：NVIDIA 的开源优化 LLM 推理库

将大型语言模型部署到生产环境中，不仅仅是把权重加载到 GPU 上那么简单。要达到可接受的吞吐量和延迟，您需要内核融合、注意力机制优化、内存管理和量化——所有这些都要针对您的特定硬件进行调整。NVIDIA 的 TensorRT-LLM 在一个开源库中提供了所有这些功能，从 NVIDIA …