Tags

QLoRA

LlamaFactory:开源 LLM 微调框架
AI

LlamaFactory:开源 LLM 微调框架

LlamaFactory 使在消费级硬件上微调数百种 LLM 架构变得实用。 graph LR A[基础模型\nHugging Face / 本地] --> B[量化\nBitsandbytes / GPTQ / AWQ] B --> C[适配器设置\nLoRA / QLoRA …

bitsandbytes:LLM 训练与推理必备的 k-bit 量化库
AI

bitsandbytes:LLM 训练与推理必备的 k-bit 量化库

大型语言模型已经远远超出了消费级硬件的内存容量。一个 700 亿参数的模型在标准 16 位精度下需要 140 GB 的 GPU 内存——远远超过最昂贵的消费级 GPU。bitsandbytes 就是弥补这个差距的库,提供量化技术,使得在可负担的硬件上加载、训练和运行大型模型成为可能。

TAG
CATEGORIES