1. 课程导入
在机器学习系统大规模进入信贷审批、招聘筛选、医疗分诊、内容推荐等高风险场景之后，模型“预测得准不准”已经不再是唯一评价标准。一个在整体准确率上表现优异的模型，完全可能在特定人群上系统性出错：女性申请人的通过率显著低于男性，少数族裔患者的再入院风险被低估，老年用户被推荐系统持续边缘化。这类问题不是偶发噪声，而是数据、目标函数与部署环境共同作用的结果，我们称之为机器学习偏差。而公平性审计，就是用可复现的方法识别、量化、解释并缓解这些偏差的系统工程。
核心原理：偏差从哪里来，公平性审计在审什么
偏差并非单一来源。它可能来自历史数据（过去的歧视性决策被记录为标签）、采样与标注（某些群体样本过少或被错误标注）、特征工程（用邮编、姓名等代理变量间接编码了敏感属性）、目标函数（只优化全局损失，忽视子群损失）、阈值与决策规则（统一阈值对不同分布群体产生不同影响），以及部署反馈回路（模型输出改变现实，现实又回流为训练数据）。公平性审计的核心，就是沿着这条链路逐层定位偏差的产生位置与传导路径。
需要特别强调的是，公平性没有唯一数学定义。常见的有人口统计均等（各群体正例率相同）、机会均等（各群体真正率相同）、预测均等（各群体精确率相同）等。它们在数学上往往无法同时满足，因此审计的第一步不是“选一个最公平的指标”，而是结合业务语境明确公平性目标，再选择可度量、可解释、可落地的审计口径。
方法流程：一次完整审计的六个步骤
公平性审计不是一次性检查，而是一个闭环流程。下面给出可落地的六步法，后续章节会逐步展开每个环节的工具与代码。
- 明确审计范围与敏感属性：确定受保护群体（性别、年龄、种族、地域等），并确认法律与合规边界。
- 定义公平性指标与容忍阈值：结合业务选择人口统计均等、机会均等等口径，设定可接受的差异范围。
- 分组度量与显著性检验：计算各群体混淆矩阵、正例率、真正率、精确率，并做置信区间与假设检验。
- 偏差归因：通过特征重要性、代理变量检测、数据分布对比，定位偏差主要来自数据还是模型。
- 缓解策略实施：在预处理、训练中、后处理三个阶段选择合适方法，并记录每次改动。
- 再验证与监控：重新审计，确认公平性提升未导致性能不可接受下降，并建立上线后的持续监控。
审计报告的最小可用清单：
- 数据集版本与敏感属性分布
- 各群体核心指标表（含样本量与置信区间）
- 偏差来源归因结论与证据
- 缓解措施、前后对比与副作用说明
- 复现命令、随机种子与依赖版本
案例与场景：偏差如何真实发生
设想一个信贷违约预测模型。整体 AUC 为 0.82，看似良好。但分组审计发现：女性申请人的真正率比男性低 14 个百分点，意味着有还款能力的女性被更多拒绝。进一步归因发现，模型高度依赖“职业类型”和“历史借贷频率”两个特征，而这两个特征在训练数据中与性别高度相关，形成了代理变量。此时若只调整决策阈值而不处理特征，公平性指标可能短期改善，但偏差会以其他形式回流。
另一个典型场景是医疗资源分配。模型用历史医疗支出预测健康需求，但历史上少数族裔获得的医疗资源本就较少，支出数据偏低，导致模型系统性低估其健康风险。这类偏差的根源在标签本身，属于“标签偏差”，必须从数据采集与目标定义层面修正，而非仅靠算法后处理。
| 偏差类型 | 典型来源 | 审计信号 | 优先缓解阶段 |
|---|---|---|---|
| 历史偏差 | 训练标签继承过去歧视 | 子群标签分布差异大 | 数据与目标重定义 |
| 表示偏差 | 样本不足或采样不均 | 子群样本量悬殊 | 预处理重采样 |
| 代理偏差 | 特征间接编码敏感属性 | 特征与敏感属性高相关 | 特征工程与训练约束 |
| 评估偏差 | 只用全局指标评估 | 全局优、子群差 | 分组评估体系 |
| 部署偏差 | 反馈回路放大偏差 | 上线后差距持续扩大 | 持续监控与再训练 |
常见误区与复盘要点
误区一：把公平性等同于“删除敏感属性”。删除性别字段并不等于公平，代理变量仍会携带信息。正确做法是检测并处理代理关系。
误区二：追求单一公平指标最优。不同公平定义存在张力，盲目优化一个指标可能损害另一个群体。应先明确业务与合规优先级。
误区三：审计一次就结束。数据分布和业务环境会变化，公平性需要持续监控，而不是一次性验收。
复盘时建议回答三个问题：偏差在哪个环节被引入？当前缓解措施是否触及根因？公平性提升的代价是否在可接受范围内？只有把这三个问题写进审计报告，审计才真正具备工程价值。
学习目标与整体课程框架
完成本课程后，你将能够独立设计并执行一次端到端的公平性审计：从敏感属性定义、分组指标计算，到偏差归因、缓解策略选择，再到报告撰写与上线监控。课程强调实战，所有方法都配有可运行代码与真实数据集示例。
# 课程环境准备示例（后续章节将逐步使用）
python -m venv fairness-audit
source fairness-audit/bin/activate
pip install pandas scikit-learn fairlearn aif360 matplotlib
python -c "import fairlearn; print('fairlearn', fairlearn.__version__)"