第 16 题：谱归一化（Spectral Normalization）在 GAN 中的原理，能否用于推荐模型稳定训练？
题目
谱归一化(Spectral Normalization)在GAN中的原理，能否用于推荐模型稳定训练？
完整讲解
一、原理
对线性层 $\boldsymbol{y} = \boldsymbol{W}\boldsymbol{x}$，谱归一化将 $\boldsymbol{W}$ 替换为 $\boldsymbol{W}/\sigma(\boldsymbol{W})$，其中 $\sigma(\boldsymbol{W})$ 是 $\boldsymbol{W}$ 的最大奇异值（谱范数）。这样每层 Lipschitz 常数 ≤ 1，限制梯度爆炸、稳定 GAN 判别器。
计算：最大奇异值可用幂迭代近似（每次前向时做 1～2 次 $v \leftarrow W^\top W v$ 并归一化），不增加太多成本。
二、在 GAN 中的作用
判别器过强时生成器梯度消失；过弱时梯度爆炸。谱归一化约束判别器每层 1-Lipschitz，使梯度范数有界，训练更稳，且不引入额外超参（相比 Gradient Penalty）。
三、能否用于推荐模型
- 可以：推荐里 Deep 部分若梯度不稳、易爆炸，可对 MLP 的权重做谱归一化，起到温和的正则与稳定；尤其大学习率、深网络时。
- 必要性一般：推荐常用 BN/LN、梯度裁剪、较小学习率，多数场景已够稳；谱归一化要每层做幂迭代，计算略增，通常不作为首选，而是「不稳时再试」的选项。
- 适用：训练不稳定、梯度爆炸时；或希望限制每层 Lipschitz 的场合（如鲁棒性）。一般不作为默认配置。
面试要点
- 谱归一化：$W \leftarrow W/\sigma(W)$，限制每层 1-Lipschitz，用幂迭代求最大奇异值。
- GAN：稳定判别器、有界梯度。推荐：可用以稳训练，但非必需；LN+裁剪常已够。
记忆要点
- 谱归一化 = 除以最大奇异值，1-Lipschitz；幂迭代近似。
- 推荐可用但不首选；训练不稳时可试。