第 62 题：MMOE的门控网络，噪声门控与负载均衡的权衡？
题目
MMOE的门控网络，噪声门控与负载均衡的权衡？
完整讲解
一、MMOE 门控机制
MMOE（Multi-gate Mixture-of-Experts）在共享底层之上为每个任务 $k$ 设独立门控，对 $n$ 个专家 $E_i(x)$ 加权：
\(h_k = \sum_{i=1}^{n} g_k^i(x) E_i(x),\quad g_k^i(x) = \frac{\exp(w_k^{i\top} x)}{\sum_{j=1}^{n} \exp(w_k^{j\top} x)}.\)
门控输出软分配，样本可路由到多个专家，不同任务可学到不同的专家组合，缓解负迁移。
二、噪声门控与负载均衡的权衡
- 噪声门控：门控输入若包含噪声或与任务无关特征，$g_k^i$ 会不稳定，出现门控几乎均匀（无区分）或极端集中到某一专家，导致表达能力或稳定性下降。可通过对门控输入做特征选择、降噪或约束熵来缓解。
- 负载均衡：希望各专家被充分使用，避免「少数专家承载大部分流量」导致容量浪费与过拟合。常用辅助损失（如基于门控分布的熵最大或负载方差最小）鼓励门控更均匀；但过度均衡会削弱「不同样本走不同专家」的差异化，相当于退回均匀混合，即噪声门控（不稳定）与强负载均衡（过度均匀）之间存在权衡：既要门控有区分度，又要专家负载不过于集中。
三、工程实践
- 负载均衡损失权重需调参：过大门控趋均匀，过小易专家坍缩。
- 门控输入可仅用关键特征或单独小网络，减少噪声；可监控各专家被选中的分布，发现坍缩时加大均衡损失或增加专家数。
面试要点
- 能写出 MMOE 门控公式：$h_k = \sum_i g_k^i(x) E_i(x)$，$g_k^i$ 为 softmax 门控，任务专属、样本自适应。
- 能说明噪声门控：门控输入噪声导致门控不稳定（均匀或极端集中）；负载均衡：辅助损失使专家负载更均匀，但过强会削弱差异化，与「有区分度的门控」存在权衡。
- 能提及调参要点：均衡损失权重、门控输入设计、专家利用率监控。
记忆要点
- MMOE：每任务独立门控 $g_k^i(x)$，$h_k = \sum_i g_k^i E_i(x)$；缓解负迁移。
- 噪声门控 ↔ 负载均衡：噪声导致门控不稳；强均衡使门控趋均匀，削弱差异化，需折中。
- 实践：均衡损失权重、门控输入降噪、专家利用率监控。