第 43 题：如何处理编译器的编译时间过长问题？缓存策略？
题目
如何处理编译器的编译时间过长问题？缓存策略？
完整讲解
一、编译时间为什么长？
AI 编译器要做的多：图优化（融合、等价替换）、schedule 搜索（auto-tune、多配置尝试）、lowering（多级 IR）、codegen（生成并调外部编译器如 nvcc/llvm）。尤其是 搜索/枚举 与 多 shape/多后端 会成倍放大时间；首次 或 cache 未命中 时用户会明显感到编译慢。
二、缓存策略
- 按图/子图指纹缓存：对 计算图（或子图）做 hash（op 类型、拓扑、shape 符号、dtype 等），命中则直接加载 已编译产物（so、ptx、引擎文件），跳过编译。TorchDynamo/Inductor、TensorRT、TVM 等都支持类似机制。
- 按 shape 或 key 缓存：同一图、不同 shape 可能对应不同 kernel；用 (graph_id, shape_key) 或 (config_hash) 做 key，只对 新 key 编译，其余用缓存。Guard 决定何时失效：例如「只有 shape 完全一致才命中」vs「符号 shape 兼容」。
- 持久化：缓存写 磁盘（目录或数据库），进程重启、多进程可复用；带 版本/ABI 信息，避免错误复用。增量：只对 变更的子图或配置 重编，其余用旧缓存。
- 分层缓存：IR 级 缓存（优化后的图）、编译产物 缓存（so/engine）；重编时可从 IR 缓存开始，只重做后端 codegen。
三、其他减编译时间的手段
- 缩小搜索空间：少试几种 tile、少跑几轮 measure；用 cost model 代替部分实测。
- 预编译 / 预热：部署时对 典型 shape 先跑一遍触发编译并写缓存；线上请求来时多命中。
- 超时与降级：编译超时则用 未优化或通用 kernel 兜底，避免卡死。
面试要点
- 编译慢原因：图优化、schedule 搜索、多级 lowering、多 shape/后端；搜索与多版本尤其耗时。
- 缓存：按图/子图 hash、shape/key、guard 命中则跳过编译；持久化到盘、带版本、可增量。
- 其他：缩小搜索、cost model、预编译预热、超时降级。
记忆要点
- 慢在：图优化、搜索、lowering、codegen；搜索与多 shape 放大时间。
- 缓存 key：图 hash、shape/config、guard；命中则加载 so/engine，否则编译并写缓存。
- 持久化、版本、预编译、超时降级可进一步减感知延迟。