1. 课程导论:归因漂移与 PSI 的基本概念、课程目标与学习路径、实际业务场景中的重要性
1.1 什么是归因漂移?
在机器学习模型上线后,模型输入特征与目标变量之间的统计关系可能随时间发生变化。这种变化导致模型预测的贡献度(即特征重要性或 Shapley 值)发生偏移,称为归因漂移(Attribution Drift)。归因漂移是模型性能衰退的早期信号,往往先于整体准确率下降出现。
核心观点: 归因漂移 ≠ 数据漂移。数据漂移关注特征分布变化;归因漂移关注特征与预测结果之间关系的结构性变化。
1.2 什么是 PSI(群体稳定性指标)?
PSI(Population Stability Index)是衡量两个样本分布差异的标准化指标,广泛应用于风控、营销等场景的模型监控。其计算公式基于分箱后的实际占比与预期占比的 KL 散度变形:
PSI = Σ (实际占比_i - 预期占比_i) × ln(实际占比_i / 预期占比_i)
PSI 的典型阈值区间如下:
| PSI 值范围 | 稳定性等级 | 建议动作 |
|---|---|---|
| < 0.10 | 稳定 | 无需干预 |
| 0.10 – 0.25 | 轻度漂移 | 触发告警,启动归因分析 |
| > 0.25 | 严重漂移 | 立即重训或回滚模型 |
注意: 上述阈值为行业经验值,实际业务中需根据模型容忍度、业务损失成本进行调优。本课程将重点讲解如何基于业务数据动态调整 PSI 阈值。
1.3 归因漂移与 PSI 的关系
归因漂移与 PSI 并非独立概念。当 PSI 检测到特征分布发生显著变化时,归因漂移分析可以进一步定位是哪个特征的贡献度发生了偏移,以及偏移的方向(正向/负向)。两者形成“检测 → 定位 → 诊断”的监控闭环。
1.4 课程目标与学习路径
本课程旨在帮助学员掌握从归因漂移检测到 PSI 阈值动态调优的完整技术栈。学习路径分为四个阶段:
- 基础篇(第 1-5 章): 理解归因漂移、PSI 数学原理、监控架构设计。
- 实战篇(第 6-15 章): 使用 Python 实现 PSI 计算、归因分析(SHAP/LIME)、阈值调优算法。
- 进阶篇(第 16-25 章): 多模型监控、实时漂移检测、A/B 测试与阈值策略联动。
- 工程篇(第 26-30 章): 生产级监控系统搭建、告警规则引擎、案例复盘。
前置要求: 学员需具备 Python 基础、机器学习建模经验(分类/回归)、基本统计学知识(分布、假设检验)。本课程不涉及深度学习模型监控。
1.5 实际业务场景中的重要性
归因漂移监控与 PSI 阈值调优在以下业务场景中具有不可替代的价值:
| 业务场景 | 漂移风险 | PSI 监控价值 | 归因分析价值 |
|---|---|---|---|
| 信贷风控 | 用户还款行为随经济周期变化 | 早期发现评分卡失效 | 定位收入、负债等关键特征偏移 |
| 推荐系统 | 用户兴趣迁移、商品生命周期 | 检测 CTR 预估分布变化 | 识别哪些特征(如时间、品类)贡献度下降 |
| 反欺诈 | 欺诈模式对抗性演变 | 监控规则通过率异常 | 发现设备指纹、IP 等特征失效 |
| 定价优化 | 市场供需波动 | 检测价格弹性模型不稳定 | 定位竞品价格、库存等特征漂移 |
1.6 课程特色与交付物
- 可复现代码: 每章提供完整 Python 脚本,涵盖 PSI 计算、SHAP 归因、阈值搜索算法。
- 真实数据集: 使用信贷、电商、广告三个领域的脱敏数据作为案例。
- 监控看板模板: 基于 Grafana + Prometheus 的漂移监控仪表盘设计。
- 阈值调优策略库: 包含固定阈值、动态阈值、分位数阈值、贝叶斯阈值四种方法。
学习建议: 建议学员在本地搭建 Python 3.9+ 环境,安装 scikit-learn、shap、numpy、pandas、matplotlib 等库。每章结束后完成课后练习,并在 GitHub 上建立自己的监控代码仓库。