第 220 题：网络架构设计？InfiniBand vs RoCE？fat-tree拓扑？
题目
网络架构设计？InfiniBand vs RoCE？fat-tree拓扑？
完整讲解
一、InfiniBand vs RoCE
InfiniBand：专用 HPC 网络，低延迟、高带宽、无损，NCCL 与 MPI 支持好；成本高、运维专，多用于超算与大规模训练。RoCE（RDMA over Converged Ethernet）：在 以太网 上跑 RDMA，硬件与布线 可与现有以太网共用，成本与兼容 更好；需 PFC/ECN 等做无损或有损配置，否则拥塞时可能丢包、影响 NCCL。选型：极致性能与规模 选 IB；成本与已有以太网 选 RoCE，并做好 DCQCN/PFC 与交换机配置。
二、Fat-tree 拓扑
Fat-tree：多级 交换机（spine-leaf 或三层），上行与下行带宽 逐级收敛，使 任意两节点 间有多路径、无 oversubscription（或可控）。训练：all-reduce 等多对多 通信依赖无阻塞或低阻塞 网络；fat-tree 便于 ECMP 与 拓扑感知 调度（同 job 放同 leaf/rack）。规模：千卡级常用 spine-leaf 或 clos；需与 NCCL 拓扑发现 配合做 最优 rank 映射。
面试要点
- IB：低延迟高带宽、专用、成本高；RoCE：以太网+RDMA、成本低，需无损/拥塞控制。
- Fat-tree：多级、无/低阻塞、多路径；适合 all-reduce 与拓扑感知调度。
- 千卡级 spine-leaf/clos；NCCL 拓扑与 rank 映射配合。
记忆要点
- IB = 专用、高性能；RoCE = 以太网 RDMA、需 PFC/ECN。
- Fat-tree = 多级、无阻塞、多路径。
- 拓扑感知 + rank 映射。