ai-infra-interview-305

第 123 题：量化后的精度损失如何快速定位？layer-wise的sensitivity分析？

题目

量化后的精度损失如何快速定位？layer-wise的sensitivity分析？

---

完整讲解

一、快速定位思路

量化后精度损失可从三方面排查：层/模块敏感度（哪几层量化后掉点最多）、激活/权重分布（是否 outlier 多、动态范围大）、校准与配置（scale、比特数、per-channel 等）。快速定位常用「逐层或逐模块量化」：先只量化某一层（或某几层），其余保持 FP，看验证指标变化；或反过来，逐层恢复 FP，看恢复哪几层后指标明显回升，从而锁定敏感层。

二、Layer-wise sensitivity 分析

Sensitivity 分析：对每一层（或每一类算子）单独做量化，在验证集上测 loss 或任务指标，得到每层的「量化敏感度」排序。敏感度高的层可保留更高精度（如 FP16、W8）或更细粒度（per-channel、更小 group）；敏感度低的可压到 W4 或 per-tensor。可结合梯度或 Hessian 近似做重要性估计，但直接逐层量化测指标最直观、工程上常用。

三、工程实践

实现上可写脚本：遍历层或 block，仅对当前层量化、其余 FP，跑一遍验证并记录；最后得到 sensitivity 曲线或排序表，据此定混合精度策略（如 embedding、最后一层用 FP16，中间部分层 W8 其余 W4）。可与剪枝、结构搜索结合，形成「敏感层少量化、不敏感层狠量化」的配置。

---

面试要点

• 快速定位：逐层（或逐模块）量化、其余 FP，看指标变化；或逐层恢复 FP 看哪几层恢复后明显回升。
• Layer-wise sensitivity：每层单独量化测验证指标，排序得到敏感度；高敏感层保留高精度或 per-channel，低敏感层可 W4/per-tensor。
• 工程：脚本遍历层做单层量化+验证，得到敏感度表，用于混合精度与比特分配。

---

记忆要点

1. 定位 = 逐层量化/逐层恢复 FP，看指标变化锁定敏感层。
2. Sensitivity = 每层单独量化测指标排序；高敏感→高精度，低敏感→低比特。
3. 输出 = 混合精度配置表（哪层 FP16/W8/W4、per-channel 等）。

返回模块

返回总览