第 108 题：移动端推理框架选择？MNN、TNN、Paddle Lite对比？
题目
移动端推理框架选择？MNN、TNN、Paddle Lite对比？
完整讲解
一、移动端推理的特点
移动端 算力与功耗 受限，常用 CPU + NPU/DSP/GPU；模型需 量化、剪枝、小模型；框架要 轻量、低依赖、多后端（ARM Neon、OpenCL、Vulkan、厂商 NPU 等）。
二、MNN、TNN、Paddle Lite 概览
- MNN（阿里）：轻量、跨平台（iOS/Android/嵌入式），支持 TensorFlow/Caffe/ONNX；算子全、优化多（Neon、OpenCL、Vulkan、Metal）；文档与社区活跃，适合多端统一部署。
- TNN（腾讯）：高性能、多后端（CPU、OpenCL、Metal、NPU 等）；支持 ONNX、TFLite、Caffe；算子融合与量化 做得好，适合对延迟与功耗要求高的 App。
- Paddle Lite（百度）：来自 PaddlePaddle 的端侧推理；支持 Paddle、ONNX、Caffe；硬件适配广（ARM、NPU、FPGA），与 Paddle 生态集成紧；若模型来自 Paddle 可选。
三、对比与选型
- 生态：Paddle 模型选 Paddle Lite；通用 ONNX/TF 选 MNN 或 TNN。
- 性能：三者均在 ARM/GPU 上有优化；具体设备上需 benchmark；TNN 在部分机型上延迟更优。
- 易用与维护：MNN 文档与开源活跃；TNN 性能导向；Paddle Lite 与 Paddle 绑定。选型看模型来源、目标设备与团队技术栈。
面试要点
- MNN：轻量跨平台、算子全、多后端；TNN：高性能、多后端、融合与量化好；Paddle Lite：Paddle 生态、端侧、硬件适配广。
- 移动端需量化与多后端；按模型来源（ONNX/Paddle）与目标设备选型。
- 具体延迟与功耗需真机 benchmark。
记忆要点
- MNN = 轻量跨平台；TNN = 高性能多后端；Paddle Lite = Paddle 端侧。
- 选型看模型格式与生态；真机测延迟与功耗。
- 移动端必备：量化、多后端、算子融合。