本专栏为 AI 基础设施 / 机器学习系统 方向面试与知识体系整理，覆盖：PyTorch 底层、TensorFlow/XLA、自定义算子、编译器、数据/模型/流水线并行、显存与通信、推理引擎、量化、服务化与调度、训练/推理平台设计、C++/CUDA、Python、算法与网络、存储与虚拟化等。
每篇文章包含：完整讲解 + 面试要点 + 记忆要点。
| 模块 | 题号 | 说明 |
|---|---|---|
| PyTorch 底层 | 1–15 | Autograd、Module、Dispatch、CUDA 算子、内存池、JIT、DDP/FSDP、torch.compile、hook、QAT、checkpoint、AMP、profiler |
| TensorFlow/XLA | 16–20 | XLA 优化、tf.function、HLO IR、SavedModel、TF Serving |
| 自定义算子开发 | 21–30 | CUDA vector add、Triton、融合算子、CUTLASS、memory coalescing、Nsight、warp divergence、PagedAttention |
| 编译器优化 | 31–45 | TVM、MLIR、Inductor、ONNX、TensorRT、loop tiling、PTQ/QAT、sparsity、pass manager、control flow |
| 数据并行 | 46–60 | DDP、FSDP、ZeRO、梯度累积、SyncBatchNorm、NCCL、梯度压缩 |
| 模型并行与流水线 | 61–75 | TP、PP、bubble、1F1B、3D 并行、序列并行、MoE、Zero Bubble |
| 显存优化与 Offload | 76–85 | ZeRO-Offload、DeepSpeed-Infinity、checkpoint、碎片、显存估算 |
| 通信优化 | 86–95 | NCCL Tree/Ring、all-reduce、NVLink/IB、overlap、RDMA |
| 推理引擎 | 96–115 | TensorRT、vLLM、TGI、llama.cpp、batching、延迟、多 stream |
| 量化与压缩 | 116–130 | INT8、SmoothQuant、AWQ、GPTQ、GGUF、FP8、校准、剪枝 |
| 服务化与调度 | 131–145 | Triton、K8s、MIG、priority、health check、gRPC、多租户 |
| 训练框架 | 146–160 | Megatron、DeepSpeed、Colossal、FSDP、Accelerate、checkpoint、RLHF、MoE |
| 存储与 IO | 161–170 | checkpoint 格式、Lustre、caching、DALI、S3 |
| 集群调度 | 171–180 | Slurm、Volcano、gang scheduling、preemption、utilization |
| 性能分析工具 | 181–195 | nvidia-smi、Nsight、PyTorch Profiler、Chrome Trace、perf、scaling efficiency |
| 优化技术 | 196–215 | FlashAttention、xFormers、CUDA Graph、arithmetic intensity、LARS/LAMB |
| 训练平台设计 | 216–235 | 1000 卡平台、scheduler、存储、网络、fault tolerance、CI/CD |
| 推理平台设计 | 236–255 | 10 万 QPS、auto-scaling、routing、streaming、A/B、latency SLO |
| C++/CUDA 编程 | 256–270 | memory pool、shared memory、ring buffer、stream、CUTLASS、NCCL、CUDA Graph |
| Python 高级 | 271–280 | GIL、asyncio、Cython、pybind11、descriptor、metaclass |
| 算法与数据结构 | 281–290 | LRU、external sort、consistent hashing、bloom filter、rate limiter |
| 网络 | 291–300 | TCP/RDMA、InfiniBand、RoCE、NCCL、fat-tree、DPDK |
| 存储与虚拟化 | 301–305 | containerd、CNI、GPU 虚拟化、CSI、etcd |
001.md～305.md）。study.htmlraw.githubusercontent.com / Raw，否则只会显示源码。）由 build_study_html.py 扫描本仓库全部 Markdown 生成。修改任意 .md 后请重新生成再提交：
pip install markdown
python build_study_html.py
侧栏标题与 <title> 可由 study_html_meta.txt（最多三行：主标题、副标题、浏览器标题）定制；未提供时则从 README.md 首行标题推断。
共 305 题，覆盖 AI Infra 全栈。