第 215 题：边缘计算部署，模型压缩与端侧推理？
题目
边缘计算部署，模型压缩与端侧推理？
完整讲解
一、边缘计算部署的场景
边缘：靠近数据源或用户的终端、网关、边缘机房，延迟低、带宽省、数据可本地处理，但算力与内存有限。边缘推理：在边缘设备上直接跑模型，避免回传云端，满足低延迟与隐私需求。
二、模型压缩
- 剪枝：去掉部分权重或结构（如通道、头），减小计算与体积；需微调或重训恢复精度。
- 量化：INT8/INT4 降低权与激活精度，减小体积与算力；端侧 GPU/NPU 常支持 INT8 加速。
- 蒸馏：用大模型教小模型，小模型在边缘部署；在精度与体积间折中。
- 轻量结构：MobileNet、EfficientNet、小 Transformer 等，专为端侧设计，参数量与 FLOPs 小。
三、端侧推理
- 框架：TensorFlow Lite、ONNX Runtime、MNN/NCNN 等，支持量化与多种硬件（CPU、GPU、NPU、DSP）；模型需导出为对应格式（如 TFLite、ONNX）并做转换与优化。
- 资源约束：内存与功耗限制 batch 与模型大小；需在延迟、精度、功耗间权衡；可选分级：简单请求端侧、复杂请求上云。
- 更新：模型可通过 OTA 或按需下载更新；版本与兼容性需管理。
面试要点
- 能说清边缘部署的价值（低延迟、省带宽、隐私）；能列举模型压缩手段：剪枝、量化、蒸馏、轻量结构。
- 能描述端侧推理框架（TFLite、ONNX Runtime 等）与导出流程；能说明资源约束与分级策略。
- 能简述端侧与云端的协同（简单端侧、复杂云端）、模型更新与版本管理。
记忆要点
- 边缘推理=端侧跑模型；压缩=剪枝、量化、蒸馏、轻量结构；框架=TFLite、ONNX Runtime 等。
- 约束=内存与功耗；可选分级=简单端侧、复杂云端；模型更新与版本管理。