第 154 题：多目标的帕累托最优，标量化方法的权重搜索？
题目
多目标的帕累托最优，标量化方法的权重搜索？
完整讲解
一、多目标与帕累托最优
多目标优化中，各目标常冲突（如点击与时长、点击与多样性）。帕累托最优：若不存在其他解在所有目标上都不变差且至少一个严格更好，则该解为帕累托最优。帕累托前沿即所有帕累托最优解构成的曲面/曲线。我们希望在帕累托前沿上根据业务偏好选一个折中解。
二、标量化方法（Scalarization）
将多目标标量化为单目标，再优化。常用加权和：
\(\min \sum_{k} w_k \, L_k(\theta),\quad w_k \ge 0,\ \sum_k w_k = 1.\)
在凸等多条件下，适当扫 $w$ 可得到帕累托前沿上的点；非凸时加权和得到的是帕累托最优的充分解（即得到的解是帕累托最优，但未必覆盖全部前沿）。加权积、Tchebycheff（$\min \max_k w_k (L_k - L_k^*)$）等也是标量化方式，可得到不同前沿形状。
三、权重搜索
- 网格/随机搜索：在 $w$ 空间（如 simplex）上取多组 $(w_1,\ldots,w_K)$，每组训一版模型或做一次评估，得到多组 $(L_1,\ldots,L_K)$，选业务满意的或帕累托前沿上的点。成本为 $O(\text{组数} \times \text{训练成本})$。
- 帕累托前沿搜索：用多目标进化算法（NSGA-II 等）或贝叶斯优化，直接搜索帕累托前沿；或先标量化扫 $w$，再在得到的解集中筛出非支配解作为近似前沿。
- 在线调权：离线初定 $w$ 后，线上 A/B 微调 $w$（如只调主目标与某保护目标的权重），按业务指标选最终 $w$。
四、工程要点
- 标量化简单、可解释；权重 $w$ 需与 loss 量纲或归一方式一致（如先对各 loss 做 scale 再加权）。
- 多目标 DNN 中 $w$ 常作为超参；也可学帕累托最优的 $w$（如 Pareto MTL、梯度法调 $w$），但实现更复杂。
面试要点
- 能说明帕累托最优与帕累托前沿的概念，以及标量化（加权和等）将多目标变单目标。
- 能说清权重搜索：网格/随机、帕累托前沿搜索、在线 A/B 调权；标量化得到的解与前沿的关系。
- 能提及 $w$ 与 loss 量纲、多目标 DNN 中 $w$ 为超参或可学习。
记忆要点
- 帕累托最优=无其他解全不差且至少一更好；标量化=加权和等变单目标。
- 权重搜索：网格/随机、进化/贝叶斯前沿搜索、在线 A/B；$w$ 与量纲一致。
- 加权和在凸等条件下可覆盖前沿；非凸时得帕累托解、未必全前沿。