「MNN」15.4k Star 阿里开源端侧 AI 推理引擎：面向本地 LLM 与 Edge AI

MNN 是阿里开源的轻量级深度学习框架，定位很明确：把推理和训练能力尽量高效地放到端侧设备上。GitHub API 当前显示它大约有 15.4k Star，主要语言是 C++，许可证是 Apache-2.0。

README 里的描述挺硬核：MNN 已在淘宝、天猫、优酷、钉钉、闲鱼等 30 多个阿里 App 中集成，覆盖直播、短视频拍摄、搜索推荐、拍照搜商品、互动营销、安全风控等 70 多个场景，也被用于 IoT 等嵌入式设备。这说明它不是只停留在 demo 里的推理库，而是有大规模业务验证的工程底座。

端侧 LLM 和 Edge AI 的底层积木

现在 MNN 的重点已经不只是传统 CNN/RNN/GAN/Transformer 模型推理。README 里单独提到 MNN-LLM，用来把大语言模型部署到手机、PC、IoT 等本地平台；也有 MNN-Diffusion，用于本地运行 Stable Diffusion 相关模型。项目新闻里还写到 2026 年 3 月已经支持 Qwen3.5 系列。

它的能力面覆盖模型转换、压缩、Express 计算、类似 OpenCV 的轻量图像处理、训练支持，以及 Python API。硬件侧则覆盖 CPU、OpenCL、Vulkan、Metal、CUDA、CoreML、NNAPI 等不同路径。对做端侧 AI、移动端模型部署、本地 LLM 应用的人来说，MNN 更像是一套从模型到设备的工具链。

如果你关心的是“模型能不能在本地跑起来，并且足够小、足够快”，MNN 值得放进候选列表。它的优势不是最简单，而是多年移动端工程优化、丰富后端和阿里内部业务场景一起堆出来的成熟度。