ai-infra-interview-305

01-PyTorch底层(第 1–15 题)

题号 主题 文章
1 PyTorch的Autograd机制是如何实现的?解释`torch.au… 001-PyTorch的Autograd机制是如何实现的.md
2 torch.nn.Module__call__和`forwar… 002-torch.nn.Module的__call__和forward有什么区别.md
3 PyTorch的Dispatch机制是什么?ATenc10、`… 003-PyTorch的Dispatch机制是什么.md
4 如何实现一个自定义的CUDA算子并在PyTorch中调用?详细步骤是什么… 004-如何实现一个自定义的CUDA算子并在PyTorch中调用.md
5 PyTorch的内存池管理(Caching Allocator)策略是什… 005-PyTorch的内存池管理(Caching-Allocator)策略是什么.md
6 torch.jit.tracetorch.jit.script 006-torch.jit.trace和torch.jit.script的区别.md
7 PyTorch的DataLoadernum_workers设置… 007-PyTorch的DataLoader中num_workers设置多少合适.md
8 解释PyTorch的torch.distributed中的DDP 008-解释PyTorch的torch.distributed中的DDP和FSDP的.md
9 PyTorch 2.0的torch.compile背后的技术栈是什么… 009-PyTorch-2.0的torch.compile背后的技术栈是什么.md
10 如何调试PyTorch的CUDA kernel launch失败?`CU… 010-如何调试PyTorch的CUDA-kernel-launch失败.md
11 PyTorch的hook机制有哪些?`forward_pre_hoo… 011-PyTorch的hook机制有哪些.md
12 如何实现模型的量化感知训练(QAT)?`torch.ao.quantiz… 012-如何实现模型的量化感知训练(QAT).md
13 PyTorch的checkpoint机制(梯度检查点)如何节省显存?… 013-PyTorch的checkpoint机制(梯度检查点)如何节省显存.md
14 解释torch.cuda.amp的自动混合精度训练,什么情况下`Gr… 014-解释torch.cuda.amp的自动混合精度训练,什么情况下GradSca.md
15 如何profile PyTorch模型的性能?`torch.profil… 015-如何profile-PyTorch模型的性能.md

返回总览