第 11 题：L1/L2 正则化的贝叶斯先验解释，为什么 L1 产生稀疏解的几何直觉？
题目
L1/L2正则化的贝叶斯先验解释，为什么L1产生稀疏解的几何直觉？
完整讲解
一、贝叶斯先验
- L2：对参数加惩罚 $\lambda |\boldsymbol{w}|_2^2$，等价于假设参数服从高斯先验 $\boldsymbol{w} \sim \mathcal{N}(0, \sigma^2)$，MAP 估计即带 L2 的损失最小化；高斯把权重重心拉向 0，但不会严格为 0。
-
| L1：惩罚 $\lambda |\boldsymbol{w}|_1$，等价于拉普拉斯先验 $p(w_i) \propto e^{- |
w_i |
/\beta}$，拉普拉斯在 0 处更尖、尾部更厚，MAP 下更容易得到精确为 0 的权重，即稀疏。 |
二、几何直觉：等高线与约束域
- 损失最小化 + 正则约束：在参数空间里，损失是「等高线」，正则约束是「可行域」。
- L2 约束 $|\boldsymbol{w}|_2^2 \le C$：可行域是圆/球，光滑凸。最优解通常是等高线与球相切，切点一般在非零坐标，所以 L2 很少得到精确 0，只是把权缩小。
- L1 约束 $|\boldsymbol{w}|_1 \le C$：可行域是菱形/多面体，有尖角（在坐标轴上）。等高线与菱形相交时，最容易碰在尖角上，尖角对应某几个维度为 0，因此 L1 容易产生稀疏解（部分权重精确为 0）。
三、小结
- L2：高斯先验，几何上球约束，解多在内部 → 小但不稀疏。
- L1：拉普拉斯先验，几何上菱形尖角 → 解常落在轴上 → 稀疏。
面试要点
- L2 ↔ 高斯先验；L1 ↔ 拉普拉斯先验；拉普拉斯在 0 处尖，易得 0。
- 几何：L2 球面光滑，切点少在轴；L1 菱形有尖角，最优常落在轴 → 稀疏。
记忆要点
- L2：高斯先验，球约束，权变小不稀疏。L1：拉普拉斯先验，菱形尖角，易得稀疏。
- 稀疏来自 L1 约束的「角」与等高线相交在轴上。