Bitsandbytes

bitsandbytes：LLM 训练与推理必备的 k-bit 量化库

大型语言模型已经远远超出了消费级硬件的内存容量。一个 700 亿参数的模型在标准 16 位精度下需要 140 GB 的 GPU 内存——远远超过最昂贵的消费级 GPU。bitsandbytes 就是弥补这个差距的库，提供量化技术，使得在可负担的硬件上加载、训练和运行大型模型成为可能。