第 83 题：温度系数对分布的影响，对比学习中的自动温度调整？
题目
温度系数对分布的影响，对比学习中的自动温度调整？
完整讲解
一、温度系数对相似度分布的影响
双塔或对比学习中，得分常写为 $s(u,i) = \boldsymbol{u}^\top \boldsymbol{v} / \tau$，其中 $\tau > 0$ 为温度系数。softmax 为
\(p(i|u) = \frac{\exp(s(u,i)/\tau)}{\sum_j \exp(s(u,j)/\tau)}.\)
- $\tau$ 小：$s/\tau$ 放大，分布更尖锐——高分会更高、低分更低，梯度集中在最难分的负样本上，学习信号强但若 $\tau$ 过小易不稳定、过拟合难负样本。
- $\tau$ 大：分布更平滑，负样本间差异被压缩，梯度分散，训练平滑但区分度学习变慢。因此 $\tau$ 控制「难度」与「稳定性」的权衡。
二、对比学习中的自动温度调整
- 固定 $\tau$：需手调，不同数据与阶段最优 $\tau$ 可能不同。
- 可学习 $\tau$：将 $\tau$ 设为可学习标量（或与输入相关），与模型一起优化。约束 $\tau > 0$（如用 $\exp(\log\tau)$ 或 softplus），避免除零或负温度。可学习 $\tau$ 会自适应数据尺度与训练阶段。
- 其他自动策略：如根据 batch 内相似度分布动态设 $\tau$，或按训练进度从大 $\tau$ 退火到小 $\tau$，使前期平滑、后期锐化。
三、工程要点
- $\tau$ 常取 0.05～0.2；过小易塌缩（所有向量趋同）或梯度爆炸，过大则区分度不足。
- 可学习 $\tau$ 时注意初始化与正则，避免坍缩到 0 或无穷。
面试要点
-
| 能写出带温度的 softmax：$p(i |
u) \propto \exp(s(u,i)/\tau)$；$\tau$ 小分布尖锐、$\tau$ 大分布平滑。 |
- 能说明温度对梯度与学习的影响：小 $\tau$ 难负样本梯度大、大 $\tau$ 梯度分散；自动温度可学习 $\tau$ 或退火。
- 能提及 $\tau$ 取值范围、可学习时的约束与塌缩风险。
记忆要点
- 温度 $\tau$：$s/\tau$ 小 $\tau$ 尖锐、大 $\tau$ 平滑；控难度与稳定性。
- 自动温度：可学习 $\tau$ 或退火；注意约束与塌缩。
- 实践：$\tau$ 常 0.05～0.2；过小易塌缩，过大区分度不足。