第 13 题：早停（Early Stopping）与 L2 正则化的等价性证明，验证集频率如何影响？
题目
早停(Early Stopping)与L2正则化的等价性证明，验证集频率如何影响？
完整讲解
一、直观联系
早停：在验证损失不再下降时停止，相当于限制有效训练步数，参数不会走到「训练集上过度拟合」的那一侧。L2：限制参数范数，把解压向 0。二者都在限制模型复杂度，只是早停限制的是「优化轨迹长度」，L2 限制的是「参数空间中的范数球」。
二、等价性（在简化设定下）
在梯度下降、二次近似损失、小学习率等简化假设下，可以证明：
- 梯度下降的轨迹在参数空间里近似沿「损失下降方向」走；早停相当于在某一时刻 $t$ 截断，得到 $\boldsymbol{w}_t$。
- 在强凸或局部二次的设定下，该 $\boldsymbol{w}_t$ 可对应到某个带 L2 惩罚的目标的最优解，即存在某个 $\lambda$ 使得「早停解」与「L2 正则解」一致（或近似）。结论：早停 ≈ 隐式的 L2 正则，验证频率决定「在轨迹上取哪个点」。
三、验证集频率的影响
- 验证太频繁：早停可能过早触发（验证损失波动），训练不足；或对噪声敏感，停在不稳定点。
- 验证太稀疏：可能已经过拟合一段才检测到，早停点偏晚，正则效果弱。
- 实践：通常每 1 个 epoch 或每 N 个 step 验证一次，配合 patience（连续若干次不提升再停），平衡噪声与及时性。
面试要点
- 早停与 L2 都在限制复杂度；在梯度下降+二次近似下，早停解可对应某 L2 正则解（等价性）。
- 验证频率：太频易早停、欠拟合；太疏易停晚、过拟合；常用每 epoch 或每 N step + patience。
记忆要点
- 早停 ≈ 隐式 L2：限制优化轨迹长度，等价于某 $\lambda$ 下的 L2 解（简化假设下）。
- 验证频率：适中 + patience，避免过早或过晚停止。