第 18 题：XLA的HLO IR长什么样？如何阅读XLA的编译日志？
题目
XLA的HLO IR长什么样？如何阅读XLA的编译日志？
完整讲解
一、HLO 是什么？
HLO（High Level Operations） 是 XLA 的高层 IR：在「图优化」之后、lower 到后端具体指令之前的一层表示。可以理解为 XLA 的「与硬件无关的算子级 IR」：节点是粗粒度 op（如 dot、conv、reduce、broadcast），边是数据流；每个 op 带 shape、dtype、属性等，便于做融合、布局选择、再往下到 GPU/TPU 的代码生成。
二、HLO 长什么样？
- 节点：通常一个 HLO 节点对应一类计算，如
dot、convolution、reduce_window、broadcast_in_dim、parameter、constant 等；节点有输入边和输出 shape。
- 层级：HLO 之上可能是 TF Graph / StableHLO 等；之下会 lower 成 LHO（或 backend 特定 IR） 再生成机器码。
- 形式：可以是文本（类似 S 表达式或自定义 DSL）、或编译器内部数据结构；TF 里可通过 XLA 编译选项 或 环境变量 dump 出 HLO 文本，便于排查「图长什么样、有没有被融合」。
三、如何阅读 XLA 编译日志？
- 打开 HLO dump：设置环境变量或编译选项，如
XLA_FLAGS="--xla_dump_to=/path"、或 TF 的 XLA_DUMP_HLO_GRAPH=1 等（具体随版本查文档），编译时会写出 HLO 图或 IR 文本。
- 看什么：先找入口（如 entry 或 root）；看大 op 序列是否和预期一致、有没有被错误融合或删除；看 shape 是否与模型一致；若有报错，报错里的 op 名或编号对应到 HLO 里的节点。
- 与优化阶段对应：编译日志里可能有多个阶段（HLO → 优化后 HLO → backend IR）；对照「优化前/后」可看出融合、常量折叠等是否生效。
- TF 文档与社区：XLA 的 op 列表、HLO 语义在 TensorFlow/XLA 官方文档有说明；遇到未知 op 可查 HLO 规范。
四、实践建议
- 调模型或性能时：先确认 HLO 里的图是否符合预期（有没有多算、少算、错融合）；再结合 backend 层 的 kernel 选择与调度。
- 报错时：把报错里的 op 名 / 编号 和 dump 出的 HLO 对应，看是哪个节点、输入 shape 是否合法。
面试要点
- HLO = XLA 高层 IR，节点为粗粒度 op（dot、conv、reduce 等），带 shape/dtype；在 backend 代码生成之前。
- 阅读：通过 XLA dump 选项得到 HLO 文本；看入口、op 序列、shape、与报错节点对应。
- 用途：确认图是否正确、优化是否生效、定位编译/运行错误。
记忆要点
- HLO = 高层 op 级 IR，与硬件无关；下有 LHO/backend 层。
- 阅读：开 dump → 看 entry、op 序列、shape；报错对应到节点。
- 用于查图正确性、融合与优化、错误定位。