| 161 |
大模型checkpoint的存储格式？safetensors vs … |
161-大模型checkpoint的存储格式.md |
| 162 |
分布式文件系统的选择？Lustre、GPFS、Alluxio… |
162-分布式文件系统的选择.md |
| 163 |
训练数据的caching策略？SSD作为`burst buffe… |
163-训练数据的caching策略.md |
| 164 |
大模型权重的高效加载？memory mapping、`lazy lo… |
164-大模型权重的高效加载.md |
| 165 |
多节点间的checkpoint同步？`asynchronous chec… |
165-多节点间的checkpoint同步.md |
| 166 |
数据加载的bottleneck诊断？`nvidia-smi dmon… |
166-数据加载的bottleneck诊断.md |
| 167 |
DALI（NVIDIA Data Loading Library）的… |
167-DALI（NVIDIA-Data-Loading-Library）的使用场景.md |
| 168 |
训练数据的sharding策略？按文件vs按样本？ |
168-训练数据的sharding策略.md |
| 169 |
云存储（S3、OSS）与本地存储的性能差异？s3fs？ |
169-云存储（S3、OSS）与本地存储的性能差异.md |
| 170 |
大规模数据集的metadata管理？parquet、`arrow… |
170-大规模数据集的metadata管理.md |