Tags

Inference

ik_llama.cpp:具有 IQ4_NL 和进阶量化的 llama.cpp 分支
AI

ik_llama.cpp:具有 IQ4_NL 和进阶量化的 llama.cpp 分支

llama.cpp 生态系统产生了許多分支,每个分支探索在消費級硬体上高效执行 LLM 的不同最佳化策略。ik_llama.cpp(GitHub 上的 ikawrakow/ik_llama.cpp)是其中最具有技术意義的分支之一,引入了先进的量化方法,推动了低位元模型壓縮的可能性邊界。

TAG
CATEGORIES