第 75 题：动态神经网络(Dynamic Network)，样本自适应的计算图剪枝？
题目
动态神经网络(Dynamic Network)，样本自适应的计算图剪枝？
完整讲解
一、动态神经网络的概念
动态网络指根据输入样本在推理时改变计算图：不同样本走不同子网络、不同深度或不同宽度，实现「简单样本少算、复杂样本多算」，在保持精度的前提下降低平均计算量与延迟。
二、样本自适应的计算图剪枝
- 自适应深度：如 Early Exit，样本在中间层若置信度足够高则提前输出，否则继续到更深层；等效于按样本剪掉后续层。
- 自适应宽度：如动态通道/专家选择，根据输入激活或轻量路由决定本层使用哪些通道或哪些专家，未选中的通道/专家不计算，等效于按样本剪枝部分连接。
- 数学形式：可写为 $y = \sum_i g_i(x) \cdot F_i(x)$，$g_i(x) \in {0,1}$ 或软门控；推理时仅对 $g_i(x)>0$ 的 $F_i$ 计算，或对软门控做稀疏化/早停。
三、在推荐中的意义
- 推荐请求量极大、延迟敏感；用户/请求难度不一（新用户 vs 老用户、简单 query vs 长序列）。动态网络可对「简单」请求少算几层或少量专家，对「难」请求用满容量，从而在相同或略降精度下降低平均时延与算力。
- 实现要点：路由要轻量（避免路由本身成为瓶颈）；需定义「简单/难」的度量（置信度、熵、路由得分）；训练时需兼顾准确性与计算预算（如加计算量正则或约束）。
面试要点
- 能解释动态网络：按输入改变计算图，简单样本少算、复杂样本多算，降低平均计算与延迟。
- 能说明样本自适应剪枝：自适应深度（早退）、自适应宽度（通道/专家选择），等效按样本剪枝子网络。
- 能联系推荐：请求难度不一，动态深度/宽度可降平均时延；路由轻量化与计算预算约束。
记忆要点
- 动态网络：输入决定计算图，简单少算、复杂多算。
- 自适应剪枝：深度（早退）、宽度（通道/专家选择）；$g_i(x)$ 门控决定是否算 $F_i$。
- 推荐：降平均延迟与算力；轻量路由 + 计算预算约束。