1. 课程导论:归因漂移与 PSI 的基本概念、课程目标与学习路径、实际业务场景中的重要性

1.1 什么是归因漂移?

在机器学习模型上线后,模型输入特征与目标变量之间的统计关系可能随时间发生变化。这种变化导致模型预测的贡献度(即特征重要性或 Shapley 值)发生偏移,称为归因漂移(Attribution Drift)。归因漂移是模型性能衰退的早期信号,往往先于整体准确率下降出现。

核心观点: 归因漂移 ≠ 数据漂移。数据漂移关注特征分布变化;归因漂移关注特征与预测结果之间关系的结构性变化。

1.2 什么是 PSI(群体稳定性指标)?

PSI(Population Stability Index)是衡量两个样本分布差异的标准化指标,广泛应用于风控、营销等场景的模型监控。其计算公式基于分箱后的实际占比与预期占比的 KL 散度变形:

PSI = Σ (实际占比_i - 预期占比_i) × ln(实际占比_i / 预期占比_i)

PSI 的典型阈值区间如下:

PSI 值范围 稳定性等级 建议动作
< 0.10 稳定 无需干预
0.10 – 0.25 轻度漂移 触发告警,启动归因分析
> 0.25 严重漂移 立即重训或回滚模型
注意: 上述阈值为行业经验值,实际业务中需根据模型容忍度、业务损失成本进行调优。本课程将重点讲解如何基于业务数据动态调整 PSI 阈值。

1.3 归因漂移与 PSI 的关系

归因漂移与 PSI 并非独立概念。当 PSI 检测到特征分布发生显著变化时,归因漂移分析可以进一步定位是哪个特征的贡献度发生了偏移,以及偏移的方向(正向/负向)。两者形成“检测 → 定位 → 诊断”的监控闭环。

归因漂移与 PSI 监控闭环 PSI 检测 特征分布变化 归因漂移定位 特征贡献度偏移 阈值调优 动态调整告警阈值 业务决策 重训 / 回滚 / 人工审核 闭环:PSI 触发告警 → 归因定位 → 阈值调优 → 业务决策 → 反馈至监控

1.4 课程目标与学习路径

本课程旨在帮助学员掌握从归因漂移检测到 PSI 阈值动态调优的完整技术栈。学习路径分为四个阶段:

  1. 基础篇(第 1-5 章): 理解归因漂移、PSI 数学原理、监控架构设计。
  2. 实战篇(第 6-15 章): 使用 Python 实现 PSI 计算、归因分析(SHAP/LIME)、阈值调优算法。
  3. 进阶篇(第 16-25 章): 多模型监控、实时漂移检测、A/B 测试与阈值策略联动。
  4. 工程篇(第 26-30 章): 生产级监控系统搭建、告警规则引擎、案例复盘。
前置要求: 学员需具备 Python 基础、机器学习建模经验(分类/回归)、基本统计学知识(分布、假设检验)。本课程不涉及深度学习模型监控。

1.5 实际业务场景中的重要性

归因漂移监控与 PSI 阈值调优在以下业务场景中具有不可替代的价值:

业务场景 漂移风险 PSI 监控价值 归因分析价值
信贷风控 用户还款行为随经济周期变化 早期发现评分卡失效 定位收入、负债等关键特征偏移
推荐系统 用户兴趣迁移、商品生命周期 检测 CTR 预估分布变化 识别哪些特征(如时间、品类)贡献度下降
反欺诈 欺诈模式对抗性演变 监控规则通过率异常 发现设备指纹、IP 等特征失效
定价优化 市场供需波动 检测价格弹性模型不稳定 定位竞品价格、库存等特征漂移
业务场景中的归因漂移影响 漂移来源 经济周期 / 用户迁移 对抗攻击 / 市场波动 监控层 PSI 检测分布变化 归因定位特征偏移 业务影响 坏账率上升 / CTR 下降 欺诈漏报 / 定价失真 归因漂移监控 + PSI 阈值调优 = 业务损失的早期预警与精准干预

1.6 课程特色与交付物

  • 可复现代码: 每章提供完整 Python 脚本,涵盖 PSI 计算、SHAP 归因、阈值搜索算法。
  • 真实数据集: 使用信贷、电商、广告三个领域的脱敏数据作为案例。
  • 监控看板模板: 基于 Grafana + Prometheus 的漂移监控仪表盘设计。
  • 阈值调优策略库: 包含固定阈值、动态阈值、分位数阈值、贝叶斯阈值四种方法。
学习建议: 建议学员在本地搭建 Python 3.9+ 环境,安装 scikit-learn、shap、numpy、pandas、matplotlib 等库。每章结束后完成课后练习,并在 GitHub 上建立自己的监控代码仓库。