sgr-interview-300

第 64 题:CGC的自定义门控控制,任务特定与共享专家的动态路由?

题目

CGC的自定义门控控制,任务特定与共享专家的动态路由?


完整讲解

一、CGC 与自定义门控

CGC(Customized Gate Control)是 PLE 的单层特例/组件:每个任务有任务特定专家,另有共享专家;每个任务的门控只对该任务专家 + 共享专家做加权,即「自定义」——任务 A 的门控不会把权重给到任务 B 的专家。输出为 \(h_k = \sum_{i \in \text{shared}} g_k^i E_i^{s}(x) + \sum_{j \in \text{task } k} g_k^j E_j^{k}(x).\)

二、任务特定与共享专家的动态路由

三、与 MMOE/PLE 的关系

CGC 可看作「一层 PLE」或「专家按任务分组的 MMOE」:门控受控(仅看到本任务专家+共享),避免任务间专家混用;PLE 则在多层级重复 CGC 式结构,形成渐进提取。


面试要点


记忆要点

返回模块 返回总览