边缘 AI

AI May 05, 2026

Gemma.cpp：Google 的轻量级 Gemma 模型 C++ 推理引擎

Gemma.cpp 是 Google 官方为其 Gemma 开放模型提供的推理引擎。 graph TD A[Gemma 模型\nSFP / 权重文件] --> B[Gemma.cpp 引擎] B --> C[分词器\nSentencePiece / Tokenizer] B …

AI May 04, 2026

在移动和边缘设备上运行深度学习模型面临独特挑战：有限的计算能力、受限的内存、电池敏感度以及多样的硬件架构。MNN（Mobile Neural Network）是阿里巴巴对这些挑战的回应，这是一款轻量级推理引擎，以最小的开销和最大的性能将 AI 带到边缘。