第 27 题：位置偏置的评估，Interleaving vs 随机位置实验的统计效力比较？
题目
位置偏置的评估，Interleaving vs 随机位置实验的统计效力比较？
完整讲解
一、位置偏置
用户更倾向点击靠前的结果，即使内容略差；同一文档放不同位置，点击率不同。评估排序模型时若不控制位置，高位置的模型会占优，难以公平比较 A/B 两个排序。
二、随机位置实验
- 做法：同一文档在不同请求中被随机分配到不同位置（如 1～10），控制「文档-位置」的混淆；比较模型时看同一文档在不同位置的点击率或模型 A/B 在随机位置下的整体表现。
- 统计效力：需要大量请求才能让每个 (文档, 位置) 有足够样本；位置多、文档多时，要达到显著差异所需流量大，效力较低。
三、Interleaving
- 做法：在一次请求中混合 A 和 B 的排序结果（如奇偶位来自 A/B），用户看到的列表是 A/B 的交错；根据用户点击落在「来自 A 还是 B」来判定胜者（如 1 credit 或 team draft）。
- 统计效力：同一次请求内比较，用户、上下文相同，噪声小；通常更少样本即可得到显著结论，效力高。但实现与解释稍复杂（需定义如何混合、如何计分）。
四、对比
- 随机位置：直接、无偏，但需大流量，统计效力低。
- Interleaving：同请求比较、噪声小，效力高；需设计混合与计分规则。实践上可先用 Interleaving 快速筛，再用 A/B 随机位置或全量上线做最终验证。
面试要点
- 位置偏置：高位置天然点击高，评估需控位置。
- 随机位置：无偏但需大流量，效力低。Interleaving：同请求混合 A/B，效力高，实现稍复杂。
记忆要点
- 随机位置：控混淆、需大样本。Interleaving：同请求比较、样本效率高。
- 实践：Interleaving 快速筛，A/B 全量验证。