TensorRT-LLM

TensorRT-LLM: La Biblioteca de Codigo Abierto de NVIDIA para Inferencia de LLM Optimizada

Implementar modelos de lenguaje grandes en produccion requiere mas que solo cargar pesos en una GPU. Para lograr rendimiento y latencia aceptables...