第 228 题：模型压缩服务的集成？量化、剪枝流水线？
题目
模型压缩服务的集成？量化、剪枝流水线？
完整讲解
一、模型压缩服务定位
模型压缩：量化、剪枝、蒸馏 等，在保持精度前提下 减小模型体积与算力，便于部署与推理。平台集成：训练产出 全精度模型 后，通过 压缩流水线 自动或按需生成 量化/剪枝版本，并做 精度与性能评估，再写入模型仓库或下发推理。
二、量化流水线
量化：PTQ（训练后量化）或 QAT（量化感知训练）。流水线：输入 checkpoint + 校准数据/配置 → 校准或 QAT → 导出（ONNX/TRT 等）→ 验证（精度、延迟、显存）→ 入库或下发。平台可提供 量化 job 模板：指定模型版本、校准集、目标精度（INT8/FP16）；跑完产出压缩后 artifact 与报告。
三、剪枝与流水线编排
剪枝：按 权重重要性 或 结构 剪枝；可接在训练后或与训练交替。流水线：剪枝 → 微调/再训 → 评估 → 导出。编排：与 CI/CD 或 模型仓库 联动：新模型版本触发「压缩流水线」；或用户在前台选择「为该版本生成 INT8 与剪枝版」。统一：量化与剪枝可共用 评估与回归测试（精度、latency、throughput）；失败则告警、不覆盖生产版本。
面试要点
- 压缩服务：训练产出全精度模型后，通过流水线做量化/剪枝，并做精度与性能评估。
- 量化流水线：校准或 QAT → 导出 → 验证 → 入库；剪枝可接微调与评估。
- 与模型仓库、CI 联动；统一评估与回归，失败不覆盖生产。
记忆要点
- 压缩 = 量化/剪枝；流水线 = 输入模型 → 压缩 → 评估 → 入库。
- 量化：PTQ/QAT、校准、导出、验证；剪枝：剪枝+微调+评估。
- 与仓库/CI 联动；统一评估与回归。