ai-infra-interview-305

第 53 题：分布式sampler如何保证每个epoch的数据不重复？

题目

分布式sampler如何保证每个epoch的数据不重复？

---

完整讲解

一、目标

多卡数据并行时，每张卡用不同的数据子集，且整个 epoch 内所有卡合起来正好把数据集覆盖一遍、不重不漏。DistributedSampler 就是按 rank、world_size 把样本划分到各卡，并可选打乱（shuffle）后每卡只取自己的那一段。

---

二、常见做法（PyTorch DistributedSampler）

• 划分：总样本数 N，world_size W。每卡样本数 n_per_rank = ceil(N/W)，总长度可能补到 n_per_rank * W（不足用重复或 drop）。卡 rank 拿的下标为 rank, rank+W, rank+2W, ...，即按 rank 交错，这样每卡拿到不重叠的一批下标。
• Shuffle：若 shuffle=True，每个 epoch 开始时对「全局下标 0..N-1」做一次 shuffle（用相同的 seed，如 epoch），再按上面规则按 rank 取；这样每 epoch 每卡看到的顺序不同，但卡间仍不重叠。关键：所有进程用同一 seed（例如 sampler.set_epoch(epoch) 里用 epoch 作 seed），这样每卡上的 shuffle 结果一致，再按 rank 切分后仍不重不漏。
• set_epoch(epoch)：每个 epoch 调用一次 sampler.set_epoch(epoch)，让 shuffle 的 seed 随 epoch 变，否则每个 epoch 每卡拿到的是同一顺序，可能影响收敛。

---

三、不重复的保证

• 下标划分是确定性的（rank 0 拿 0,W,2W,…；rank 1 拿 1,W+1,…），且彼此无交。
• Shuffle 后仍是「全局一个排列」，再按 rank 切，所以整个 epoch 内全局不重不漏；每卡内也无重复（除非 N 不能被 W 整除且实现用重复补齐，此时可能有个别样本重复，可选用 drop_last 去掉尾批）。

---

面试要点

• 按 rank 交错取下标（rank, rank+W, …），保证卡间不重叠。
• Shuffle 用同一 seed（如 set_epoch(epoch)），再按 rank 切，保证全局不重不漏且每 epoch 顺序变。
• 每 epoch 调用 set_epoch(epoch)，否则每 epoch 顺序相同。

---

记忆要点

1. 划分：下标按 rank 交错，每卡一段，不重叠。
2. Shuffle：全局同一 seed（set_epoch），再切分；每 epoch 换 seed。
3. 不重不漏 = 划分不交 + shuffle 一致；set_epoch 必须调。

返回模块

返回总览