第 188 题:算法偏见的审计,群体公平性的量化指标?
题目
算法偏见的审计,群体公平性的量化指标?
完整讲解
一、算法偏见与审计目标
算法偏见:模型或策略对不同群体(性别、种族、年龄、地域等)产生不公正的差异(如推荐机会、曝光、误判率)。审计:系统性地量化各群体上的表现差异,发现偏见并指导治理。
二、群体公平性的量化指标
-
| 人口统计均等:$P(\hat{Y}=1 |
A=a)$ 在不同群体 $a$ 上是否相同;差异可用比例差或比值衡量。 |
-
| 机会均等 / 均衡化赔率:$P(\hat{Y}=1 |
Y=1,A)$(召回)、$P(\hat{Y}=1 |
Y=0,A)$(假阳率)在群体间是否一致;可计算各群体召回/假阳率及差异。 |
- 校准:预测概率与真实正例率是否一致,分群体看校准曲线或 ECE。
- 个体公平:相似个体是否得到相似结果(需定义相似度与结果距离);可抽样或用代理指标。
- 推荐/曝光:曝光率、点击率、消费率按群体统计;基尼、覆盖率按群体分解。
三、审计实践
- 按群体分层:按敏感属性(需合规获取或推断)分层,报告每组的指标(准确率、召回、假阳、曝光、满意度等)及组间差。
- 因果与混淆:差异可能来自历史偏差(训练数据)或模型放大;审计结果需结合业务解读,区分「需要纠正」与「合理差异」。
- 持续监控:将公平性指标纳入常规监控与发布 gate,防止新版本引入或加剧偏见。
面试要点
- 能说清算法偏见与审计目的;能写出人口统计均等、机会均等(召回/假阳)的数学形式。
- 能列举其他指标:校准、个体公平、推荐场景的曝光/覆盖率按群体分解。
- 能简述审计实践:分层报告、因果解读、持续监控与发布 gate。
记忆要点
- 偏见=群体间不公正差异;审计=量化群体表现。指标:人口统计均等、机会均等(召回/假阳)、校准、曝光/覆盖按群体。
- 实践:分层报告、因果解读、持续监控与发布 gate。