第 95 题：异构网络环境下的通信优化策略？
题目
异构网络环境下的通信优化策略？
完整讲解
一、异构网络的含义
异构：同一训练任务中，部分链路是 高速（如 NVLink、IB），部分是 低速（如 10G 以太网、或部分节点仅 TCP）。例如多机集群中部分机架用 IB、部分用 TCP，或单机多卡有 NVLink 但跨机只有 25G 以太网。此时若 collective 路径不经意经过慢链路，会成为瓶颈。
二、策略概览
- 拓扑感知：用 NCCL_TOPO_FILE 或等价配置标明「快慢」与连接关系，让 NCCL 优先在快链路上做 ring/tree，减少慢链路参与或让慢链路只传少量数据。
- 划分与放置：把 通信密集 的并行（如 TP）放在同机/同架（高速），通信较少 的（如 DP）跨机时影响小；即 TP 同机、DP 跨机，避免 TP 走慢链路。
- 压缩与减少通信：在慢链路上减少数据量（梯度压缩、fp16、稀疏）或减少通信次数（梯度累积、大 batch），使慢链路不成为主导瓶颈。
- Overlap：在快链路上尽量重叠计算与通信；慢链路无法完全隐藏时，至少保证计算不空等（如预取、双缓冲）。
三、监控与调优
- 用 NCCL_DEBUG、profiler 看各 collective 耗时，定位是否某次通信明显更长（可能走慢链路）。
- 结合 iftop/nicstat 看各 NIC 利用率，确认慢链路是否被过度使用；再通过拓扑与 placement 把关键路径放到快链路。
面试要点
- 异构 = 部分快（NVLink/IB）、部分慢（TCP/弱网）；策略 = 拓扑感知 + 放置 + 压缩 + overlap。
- TP 放快链路、DP 可跨慢链路；用拓扑文件引导 NCCL 路径。
- 慢链路上减量（压缩）或减次数；用 profile 找瓶颈链路。
记忆要点
- 拓扑感知 + 放置：TP 同快链路，DP 可跨慢链路。
- 慢链路：压缩、减次数、overlap 计算。
- Profile + 拓扑文件定位瓶颈链路并调优。