第 76 题：早退机制(Early Exit)，置信度阈值的选择与精度-延迟权衡？
题目
早退机制(Early Exit)，置信度阈值的选择与精度-延迟权衡？
完整讲解
一、早退机制（Early Exit）
早退在深度网络中设置多个出口（exit）：输入依次经过各层，在每一出口处做一次预测；若某出口的置信度达到阈值，则直接输出该预测并提前结束，不再计算后续层。这样「简单样本」在浅层即可高置信输出，节省计算与延迟。
二、置信度阈值的选择
- 置信度度量：常用最大类别概率 $\max_i p_i$，或 1 - 熵；高表示模型「有把握」。
- 阈值：设阈值 $\tau$，若 $\max_i p_i \ge \tau$ 则早退。$\tau$ 高 → 早退少、精度高、延迟大；$\tau$ 低 → 早退多、延迟小、易误判。需在精度-延迟曲线上选业务可接受的工作点。
- 自适应：可按请求 SLA 或当前负载动态调 $\tau$；或为不同出口设不同阈值（浅层出口可设更高 $\tau$，避免浅层误判多）。
三、精度-延迟权衡
- 训练时：各出口都有监督（辅助损失），总损失为各出口损失的加权和，使浅层也能学到有效特征，避免早退精度过差。
- 推理时：平均延迟 = $\sum_{\ell} P(\text{在层 }\ell\text{ 退出}) \cdot \text{cost}(\ell)$；阈值与出口位置共同决定该分布。工程上常画「延迟 vs AUC」曲线，选满足延迟约束下 AUC 最高的 $\tau$ 或出口配置。
面试要点
- 能说明早退：多出口，每层预测；置信度 ≥ 阈值则输出并停止，否则继续；简单样本早退省算力。
- 能解释阈值：高阈值少早退、高精度高延迟；低阈值多早退、低延迟可能损精度；需精度-延迟权衡。
- 能提及辅助损失训练各出口、延迟-AUC 曲线选工作点。
记忆要点
- 早退：多出口 + 置信度阈值；达标即输出并停止，否则继续。
- 阈值高 → 少早退、高精度高延迟；阈值低 → 多早退、低延迟；需权衡。
- 训练：各出口辅助损失；推理：延迟-AUC 曲线定 $\tau$。