第 22 题:GAUC(Group AUC)的计算方式,为什么比全局 AUC 更反映真实排序能力?
题目
GAUC(Group AUC)的计算方式,为什么比全局AUC更反映真实排序能力?
完整讲解
一、计算方式
- 全局 AUC:把所有样本混在一起,算「随机正样本得分 > 随机负样本得分」的概率;不同用户/请求的样本混在一起。
- GAUC:先按用户(或请求/session)分组,在每个组内分别算 AUC,再按曝光量或样本量加权平均:
\(\mathrm{GAUC} = \frac{\sum_u w_u \cdot \mathrm{AUC}_u}{\sum_u w_u}.\)
$w_u$ 常取该用户/请求下的曝光数或样本数,避免小样本组拉低或拉高整体。
二、为什么更反映真实排序能力
- 用户内排序:线上每次请求是在同一用户的一次曝光列表内排序,关心的是「这个用户看到的几条里谁更该排前面」,而不是「用户 A 的正样本 vs 用户 B 的负样本」谁高。
- 全局 AUC 的偏差:不同用户点击率、分布差异大;全局 AUC 会被高活用户、高样本量用户主导,且「跨用户正负对」的排序与线上场景不一致;模型可能把用户 A 的负样本压过用户 B 的正样本,全局 AUC 仍高,但单用户内排序未必好。
- GAUC:组内 AUC 直接衡量「单次请求内的排序」,与线上一致;加权平均后更能反映各流量上的整体排序能力,减少用户间分布差异的干扰。
面试要点
- GAUC:按用户/请求分组算 AUC,再按曝光或样本量加权平均。
- 更反映真实:线上是用户内排序;全局 AUC 跨用户、被高活主导;GAUC 与请求内排序一致。
记忆要点
- GAUC = 组内 AUC 的加权平均;组=用户或请求。
- 全局 AUC 跨用户、偏流量分布;GAUC 对应用户内排序,更贴近线上。