| 题号 | 主题 | 文章 |
|——|——|——|
| 61 | Tensor Parallelism（TP）的fused attent… | [061-Tensor-Parallelism（TP）的fused-attention.md](/ai-infra-interview-305/06-%E6%A8%A1%E5%9E%8B%E5%B9%B6%E8%A1%8C%E4%B8%8E%E6%B5%81%E6%B0%B4%E7%BA%BF/061-Tensor-Parallelism%EF%BC%88TP%EF%BC%89%E7%9A%84fused-attention.html) |
| 62 | Megatron-LM的column parallel和row p… | 062-Megatron-LM的column-parallel和row-parall.md |
| 63 | Pipeline Parallelism（PP）的bubble问题如… | 063-Pipeline-Parallelism（PP）的bubble问题如何量化.md |
| 64 | interleaved pipeline（如Megatron的1F1… | 064-interleaved-pipeline（如Megatron的1F1B）如何.md |
| 65 | 激活重计算（activation checkpointing）在PP中的… | 065-激活重计算（activation-checkpointing）在PP中的特殊.md |
| 66 | 如何平衡TP、PP、DP的维度划分？以175B模型为例 | 066-如何平衡TP、PP、DP的维度划分.md |
| 67 | torch.distributed.pipeline.sync.Pip… | [067-torch.distributed.pipeline.sync.Pipe的使.md](/ai-infra-interview-305/06-%E6%A8%A1%E5%9E%8B%E5%B9%B6%E8%A1%8C%E4%B8%8E%E6%B5%81%E6%B0%B4%E7%BA%BF/067-torch.distributed.pipeline.sync.Pipe%E7%9A%84%E4%BD%BF.html) |
| 68 | 模型并行中的all-gather和reduce-scatter通… | [068-模型并行中的all-gather和reduce-scatter通信模式.md](/ai-infra-interview-305/06-%E6%A8%A1%E5%9E%8B%E5%B9%B6%E8%A1%8C%E4%B8%8E%E6%B5%81%E6%B0%B4%E7%BA%BF/068-%E6%A8%A1%E5%9E%8B%E5%B9%B6%E8%A1%8C%E4%B8%AD%E7%9A%84all-gather%E5%92%8Creduce-scatter%E9%80%9A%E4%BF%A1%E6%A8%A1%E5%BC%8F.html) |
| 69 | 流水线并行中的micro-batch大小如何影响吞吐？ | [069-流水线并行中的micro-batch大小如何影响吞吐.md](/ai-infra-interview-305/06-%E6%A8%A1%E5%9E%8B%E5%B9%B6%E8%A1%8C%E4%B8%8E%E6%B5%81%E6%B0%B4%E7%BA%BF/069-%E6%B5%81%E6%B0%B4%E7%BA%BF%E5%B9%B6%E8%A1%8C%E4%B8%AD%E7%9A%84micro-batch%E5%A4%A7%E5%B0%8F%E5%A6%82%E4%BD%95%E5%BD%B1%E5%93%8D%E5%90%9E%E5%90%90.html) |
| 70 | 如何处理PP中的负载不均衡？recompute和no-recomp… | 070-如何处理PP中的负载不均衡.md |
| 71 | 3D并行（3D parallelism）的通信复杂度分析？ | 071-3D并行（3D-parallelism）的通信复杂度分析.md |
| 72 | 序列并行（Sequence Parallelism）在长文本训练中的应用… | 072-序列并行（Sequence-Parallelism）在长文本训练中的应用.md |
| 73 | Expert Parallelism在MoE模型中的all-to-all… | 073-Expert-Parallelism在MoE模型中的all-to-all通信.md |
| 74 | 零气泡流水线（Zero Bubble）的最新进展？ | 074-零气泡流水线（Zero-Bubble）的最新进展.md |
| 75 | 如何profile分布式训练的通信开销？torch.profiler… | 075-如何profile分布式训练的通信开销.md |