邊緣 AI

AI May 05, 2026

Gemma.cpp：Google 的輕量級 Gemma 模型 C++ 推理引擎

LLM 推理的格局主要由兩種方法塑造：具有完整 GPU 加速的重量級框架（如 PyTorch），或高度最佳化但複雜的引擎（如支援數百種模型架構的 llama.cpp）。Gemma.cpp 刻意選擇了第三條路徑——一個輕量級、最小依賴的 C++ 引擎，專門為 Google 的 Gemma 模 …

AI May 04, 2026

在行動和邊緣裝置上執行深度學習模型面臨獨特挑戰：有限的運算能力、受限的記憶體、電池敏感度以及多樣的硬體架構。MNN（Mobile Neural Network）是阿里巴巴對這些挑戰的回應，這是一款輕量級推論引擎，以最小的開銷和最大的效能將 AI 帶到邊緣。