第 64 题:CGC的自定义门控控制,任务特定与共享专家的动态路由?
题目
CGC的自定义门控控制,任务特定与共享专家的动态路由?
完整讲解
一、CGC 与自定义门控
CGC(Customized Gate Control)是 PLE 的单层特例/组件:每个任务有任务特定专家,另有共享专家;每个任务的门控只对该任务专家 + 共享专家做加权,即「自定义」——任务 A 的门控不会把权重给到任务 B 的专家。输出为
\(h_k = \sum_{i \in \text{shared}} g_k^i E_i^{s}(x) + \sum_{j \in \text{task } k} g_k^j E_j^{k}(x).\)
二、任务特定与共享专家的动态路由
- 任务特定专家:只服务单一任务,学该任务特有模式,不被其它任务梯度干扰。
- 共享专家:多任务共用,学通用表示;门控决定每个任务对共享专家的依赖程度。
- 动态路由:门控 $g_k^i(x)$ 依赖输入 $x$,不同样本可得到不同专家权重——简单样本可能多用共享专家,难样本或任务特异样本多用任务专家,实现样本级自适应。
三、与 MMOE/PLE 的关系
CGC 可看作「一层 PLE」或「专家按任务分组的 MMOE」:门控受控(仅看到本任务专家+共享),避免任务间专家混用;PLE 则在多层级重复 CGC 式结构,形成渐进提取。
面试要点
- 能写出 CGC 的输出形式:任务 $k$ 的输出 = 对「共享专家 + 本任务专家」的门控加权和;门控为自定义,不看其它任务专家。
- 能说明任务特定 vs 共享专家:特定专家只服务单任务,共享专家多任务共用;动态路由指门控随输入 $x$ 变化,样本级路由。
- 能联系 PLE:CGC 是单层、专家按任务分组+自定义门控;PLE 是多层 CGC 式堆叠。
记忆要点
- CGC:每任务门控只对「共享专家 + 该任务专家」加权,自定义门控、无跨任务专家混用。
- 任务特定专家 vs 共享专家 + 门控动态路由(依输入 $x$)。
- PLE = 多层 CGC 式结构,渐进提取。