Gemma

Gemma.cpp：Google 的輕量級 Gemma 模型 C++ 推理引擎

LLM 推理的格局主要由兩種方法塑造：具有完整 GPU 加速的重量級框架（如 PyTorch），或高度最佳化但複雜的引擎（如支援數百種模型架構的 llama.cpp）。Gemma.cpp 刻意選擇了第三條路徑——一個輕量級、最小依賴的 C++ 引擎，專門為 Google 的 Gemma 模 …