GPTQ

GPTQModel: Kit de Cuantizacion de LLM Listo para Produccion para GPU y CPU

Los modelos de lenguaje grandes son potentes, pero su tamano los hace costosos de implementar. Un modelo de 70 mil millones de parametros en …