题目
FasterTransformer的decoder优化技术？memory layout优化？
完整讲解
FasterTransformer（NVIDIA）对 Transformer decoder（如 GPT、T5 decoder）做 kernel 融合、内存布局、批处理 等优化，目标低延迟与高吞吐。Decoder 特点：自回归、每步只生成 1 token、强依赖 KV cache 与 attention。
二、Decoder 优化技术
- Kernel 融合：把 QKV 投影 + attention + output 投影 融合成少量 kernel，减少 launch 与显存读写；类似 fused attention。
- KV cache 布局：KV 按 batch×head×seq×dim 或 batch×seq×head×dim 等布局；选择 缓存友好、与 attention kernel 一致 的 layout，减少转置与访存。有时按 block 或 chunk 管理，便于变长与批处理。
- Batch 与变长：支持 padding 或 packing；或类似 in-flight batching，不同长度用 mask 或变长 kernel 处理，减少无效计算。
- FP16/INT8：权重量化与低精度 matmul，降低带宽与算力；配合 calibration 或量化感知推理。
三、Memory Layout
Memory layout 优化：使 连续访问 与 计算顺序 一致（如 batch 维连续、或 KV 按 step 连续写），减少 bank conflict 与 cache miss；或把 KV 与权重按「分块」排布，配合 tiled attention。文档与源码中的「memory layout」多指 KV cache 与中间 buffer 的排布选择，以适配其 fused kernel。
面试要点
- FasterTransformer decoder：fused QKV+attention+O、KV cache 布局、batch/变长、FP16/INT8。
- Memory layout = KV 与 buffer 排布，追求缓存友好、与 kernel 一致；减少转置与访存。
- 与 TensorRT-LLM、vLLM 等思路类似，实现与生态不同。
记忆要点
- 融合 kernel + KV layout + 批处理/变长 + 低精度。
- Layout 优化 = 访存顺序与计算一致、减少冲突与 miss。
- 针对 decoder 自回归、KV cache 密集的特点优化。