第 47 题：DDP的find_unused_parameters参数什么时候需要设置？性能影响？
题目
DDP的find_unused_parameters参数什么时候需要设置？性能影响？
完整讲解
一、为什么会有「未使用参数」？
有些模型在部分 forward 路径里不会用到所有参数（例如多任务头只走一个分支、或条件计算里某分支不用某层）。backward 时，没参与计算的参数梯度为 None；DDP 默认假设「所有参数都会参与 backward」，在同步梯度时若发现某参数没有梯度会报错，避免静默错误。
二、find_unused_parameters=True 做什么？
设为 True 时，DDP 会在每次 backward 前扫描当前计算图，找出没有梯度的参数，在 all-reduce 时跳过这些参数（不参与通信、不更新）。这样「部分参数未使用」的模型（如多任务、稀疏 MoE 的 expert）就能正常跑 DDP。
三、什么时候需要设？
- 需要：forward 里确实存在某些参数本轮未参与计算（如某 head 未用、某 expert 未选），且你希望 DDP 不报错、只同步「有梯度」的参数时，设
find_unused_parameters=True。
- 不需要：所有参数每轮都参与计算时，保持默认 False 即可。
四、性能影响
- 额外开销：每次 backward 前要遍历计算图找未使用参数，有额外 CPU 与时间；图大时开销明显。
- 通信：未使用参数不参与 all-reduce，通信量略减；但扫描开销常占主导。
- 建议：只有模型确实存在「部分参数未用」时才开；若可以改模型结构让所有参数每轮都参与（如 dummy forward），优先改结构、保持
False，性能更好。
面试要点
- 未使用参数 = 某轮 forward 未参与计算，梯度为 None；DDP 默认会报错。
- find_unused_parameters=True = 扫描图找未使用参数，all-reduce 时跳过它们。
- 性能：每次 backward 前扫描图有开销；仅在有「部分参数未用」时开，否则保持 False。
记忆要点
- 未使用参数：本轮未参与计算，梯度 None；DDP 默认报错。
- True = 扫描图、跳过未使用参数的同步；有扫描开销。
- 仅多任务/条件/稀疏 MoE 等确实存在未用参数时开；能避免则保持 False。