K-Quants

ik_llama.cpp：具有 IQ4_NL 和進階量化的 llama.cpp 分支

llama.cpp 生態系統產生了許多分支，每個分支探索在消費級硬體上高效執行 LLM 的不同最佳化策略。ik_llama.cpp（GitHub 上的 ikawrakow/ik_llama.cpp）是其中最具有技術意義的分支之一，引入了先進的量化方法，推動了低位元模型壓縮的可能性邊界。