第 61 题：Shared-Bottom的负迁移，梯度冲突的数学量化（余弦相似度）？
题目
Shared-Bottom的负迁移，梯度冲突的数学量化（余弦相似度）？
完整讲解
一、Shared-Bottom 与负迁移
Shared-Bottom 多任务学习：底层共享表示 $h = f_{shared}(x)$，各任务塔 $y_k = f_k(h)$。负迁移指任务 A 的学习损害任务 B——共享表示被强势或样本多的任务主导，弱势任务梯度被稀释或与其它任务梯度冲突，导致性能下降。
二、梯度冲突的数学量化（余弦相似度）
设任务 $k$ 的损失为 $\mathcal{L}k$，其对共享参数的梯度为 $\boldsymbol{g}_k = \nabla\theta \mathcal{L}_k$。两任务 $i,j$ 的梯度冲突可用余弦相似度度量：
\(\cos(\boldsymbol{g}_i, \boldsymbol{g}_j) = \frac{\boldsymbol{g}_i^\top \boldsymbol{g}_j}{\|\boldsymbol{g}_i\| \|\boldsymbol{g}_j\|}.\)
- $\cos < 0$：梯度方向相反，存在冲突；直接相加会相互抵消，共享层难以同时优化两任务。
- $\cos \approx 1$：梯度一致，可共享；$\cos \approx 0$：近似正交，冲突不明显但协同也弱。
多任务总梯度 $\boldsymbol{g} = \sum_k \boldsymbol{g}_k$，若某任务 $\boldsymbol{g}_j$ 与 $\boldsymbol{g}$ 夹角很大甚至反向，则该任务在本次更新中收益小或受损，即负迁移的梯度视角。
三、工程启示
- 用梯度余弦或 PCGrad/ GradNorm 等算法检测、缓解冲突；冲突大时考虑 MMOE/PLE 等显式专家与门控，减少共享、增加任务专属容量。
- 对任务损失加权或采用不确定性加权，使各任务梯度量级与方向更平衡。
面试要点
- 能解释 Shared-Bottom 负迁移：共享表示被部分任务主导，其它任务梯度被稀释或与其它任务梯度冲突，导致性能变差。
- 能用梯度余弦 $\cos(\boldsymbol{g}_i, \boldsymbol{g}_j)$ 量化两任务梯度关系：负值表冲突，正值表一致；多任务总梯度与某任务梯度夹角大则该任务易受损。
- 能说出缓解思路：MMOE/PLE 等门控与专家、梯度冲突检测与投影（如 PCGrad）、损失加权或不确定性加权。
记忆要点
- Shared-Bottom 负迁移：共享底层被部分任务主导 → 其它任务梯度冲突或稀释 → 性能下降。
- 梯度冲突量化：$\cos(\boldsymbol{g}_i, \boldsymbol{g}_j)$，负为冲突、正为一致；总梯度与单任务梯度夹角大则该任务易负迁移。
- 缓解：门控/专家（MMOE/PLE）、梯度投影/归一（PCGrad/GradNorm）、损失或不确定性加权。