第 164 题：实时竞价(RTB)的决策延迟，100ms内的价值预估？
题目
实时竞价(RTB)的决策延迟，100ms内的价值预估？
完整讲解
一、RTB 与决策延迟
实时竞价（RTB）：每次广告请求在极短时间窗口内（通常 几十到 100ms）完成出价、比价、竞价与返回创意。延迟来自：网络 RTT、预估服务（CTR/CVR、价值）、出价逻辑、日志与监控。
二、100ms 内的价值预估
- 预估目标：在 100ms 内完成点击率（CTR）/ 转化率（CVR）或 eCPM/ 价值预估，供出价决策使用。常用离线训练模型 + 在线低延迟推理（预计算特征、模型量化、缓存、专用 serving）。
- 延迟拆解：特征获取（用户、上下文、历史）→ 模型推理 → 出价计算。需压缩每一环：特征用缓存/预取、模型用小模型或蒸馏、批处理与异步要谨慎以免拉高尾延迟。
- 精度与延迟权衡：更复杂模型/更多特征往往更准但更慢；工程上通过 A/B 测延迟与收入，确定可接受的简化（特征裁剪、模型剪枝、早停）。
三、工程要点
- 预加载用户/上下文特征、本地或近端推理、超时与降级策略（超时则保守出价或放弃）；监控 P99 延迟与超时率。
面试要点
- 能说明 RTB 的端到端延迟约束（如 100ms）及主要耗时环节：特征、推理、出价。
- 能说清 100ms 内价值预估的取舍：特征与模型简化、缓存、量化、预计算，以及精度与延迟的权衡。
- 能列举降延迟手段：特征缓存/预取、小模型/蒸馏、超时与降级。
记忆要点
- RTB 决策常在 100ms 内完成；价值预估 = 特征 + 模型推理 + 出价，每环都需压延迟。
- 手段：特征缓存/预取、模型简化/量化、超时与降级；在延迟约束下做精度与延迟的 A/B 权衡。