跨可用区（AZ）训练的网络挑战？
可用区（AZ） 是同一地域内物理隔离的数据中心（不同电、不同楼），提供高可用。跨 AZ 训练即训练任务跨多个 AZ 部署（如部分 rank 在 AZ1、部分在 AZ2），以利用资源或做容灾，但网络路径跨机房，带来延迟与带宽挑战。
延迟：跨 AZ 通常经过骨干或专线，RTT 比同 AZ 内高一个数量级（如同 AZ 亚毫秒、跨 AZ 数毫秒）。带宽与成本：跨 AZ 带宽贵、有时有上限，all-reduce 等通信带宽需求大，易成瓶颈。抖动：跨 AZ 路径更长、经过设备更多，jitter 更明显，集合通信的 P99 延迟上升，拖慢整机。一致性：若存储或元数据跨 AZ，还需考虑一致性与故障域。
尽量同 AZ：训练 job 调度时优先同 AZ 放置，减少跨 AZ 通信。跨 AZ 时：降低通信频率（如梯度累积）、压缩、或接受更长 step 时间；关键路径避免跨 AZ。存储与调度：跨 AZ 的 checkpoint/数据拉取可异步或放非关键路径。
| 返回模块 | 返回总览 |