第 153 题：点赞与收藏的稀疏性，过采样与损失加权的比较？
题目
点赞与收藏的稀疏性，过采样与损失加权的比较？
完整讲解
一、点赞与收藏的稀疏性
点赞、收藏等正向反馈远少于点击与曝光，正样本极度稀疏。若与点击等权训练，模型会几乎只学点击、点赞/收藏信号被淹没，导致这两个目标的预测很弱。需要过采样或损失加权（或二者结合）提升稀疏目标在总损失中的比重。
二、过采样（Over-sampling）
- 做法：在每轮或每个 batch 中，增加点赞/收藏正样本的出现次数（如复制多份、或按正负比例采样使正样本被采到的概率提高）。等价于在期望意义下给正样本更大权重。
- 优点：实现简单（重采样 dataloader）；不改变 loss 形式，下游逻辑一致。
- 缺点：同一正样本被重复看到，易过拟合；且负样本相对变少，可能影响决策边界；极端过采样会严重不平衡 batch 内分布。
三、损失加权（Loss Weighting）
- 做法：对点赞/收藏的 loss 乘以大于 1 的权重 $w$（如 $w = \frac{\text{负样本数}}{\text{正样本数}}$ 或按业务设定），使稀疏目标的梯度在总梯度中占更大比例。
\(\mathcal{L} = \mathcal{L}_{\text{click}} + \lambda_{\text{like}} \mathcal{L}_{\text{like}} + \lambda_{\text{collect}} \mathcal{L}_{\text{collect}}.\)
- 优点：不复制样本、不过度改变 batch 分布；权重可精细调（不同目标不同权）。
- 缺点：权过大可能让稀疏目标主导、损害主目标（如点击）；需在验证集或线上 A/B 调权。
四、比较与结合
- 过采样：简单、易过拟合、适合轻度不平衡；损失加权：不增样本、易调权、适合与多任务联合。
- 结合：适度过采样（如 2～5 倍正样本）+ 损失加权，既增加稀疏目标曝光又控梯度比例；或仅用加权、避免过采样带来的过拟合。
- 其他：Focal Loss 对易分样本降权、对难分（常为稀疏正样本）增权；或对点赞/收藏做辅助任务、主任务仍为点击，通过共享表示间接提升点赞/收藏。
面试要点
- 能说明点赞/收藏稀疏导致梯度被点击淹没，需过采样或损失加权。
- 能说清过采样（复制正样本、简单但易过拟合）与损失加权（乘权、不复制、可细调）的优缺点。
- 能提及结合使用、Focal Loss、辅助任务，以及权重与过采样倍数的调参。
记忆要点
- 稀疏目标：过采样=多采正样本，简单易过拟合；损失加权=loss 乘权，不复制样本。
- 过采样易过拟合；加权需调权避免压过主目标；可结合或配合 Focal/辅助任务。