1. 课程导论:PSI、SHAP与阈值漂移的概念全景与联动分析的价值
在风控模型的全生命周期管理中,模型上线后的性能衰减是必然规律。本课程聚焦三个核心概念——群体稳定性指标(PSI)、SHAP 值与阈值漂移,并揭示它们之间的联动关系。理解这三者的独立含义与协同价值,是构建自适应风控体系的第一步。
1.1 三大核心概念速览
| 概念 | 英文全称 | 核心定义 | 监控对象 | 典型应用场景 |
|---|---|---|---|---|
| PSI | Population Stability Index | 衡量两个样本群体在特征分布上的差异程度 | 特征分布 / 评分分布 | 模型输入数据分布漂移检测 |
| SHAP | SHapley Additive exPlanations | 基于博弈论的特征贡献度归因解释 | 单个样本的特征贡献 | 模型可解释性、异常样本诊断 |
| 阈值漂移 | Threshold Drift | 模型决策边界随数据分布或业务策略变化而偏移 | 决策阈值 / 通过率 | 策略调优、通过率与坏账率平衡 |
关键认知:PSI 告诉你“数据变了”,SHAP 告诉你“哪里变了”,阈值漂移告诉你“决策线该往哪移”。三者缺一不可。
1.2 概念全景图:从数据到决策的完整链路
下图展示了 PSI、SHAP 与阈值漂移在风控模型监控与迭代中的位置关系。数据从生产环境流入,经过特征分布监控(PSI)、样本级归因(SHAP),最终影响决策阈值的调整。
1.3 联动分析的核心价值
单独使用 PSI、SHAP 或阈值漂移都存在盲区。联动分析将三者串联,形成从检测 → 诊断 → 决策 → 验证的完整闭环。
- 消除信息孤岛:PSI 只能告诉你“分布变了”,但无法解释“为什么变”;SHAP 能解释“哪个特征贡献最大”,但无法量化“整体分布偏移程度”;阈值漂移需要前两者的输入才能做出合理调整。
- 提升预警时效:PSI 的早期信号(如 PSI 从 0.05 升至 0.08)结合 SHAP 的特征贡献变化,可在模型 AUC 下降前 2-4 周发出预警。
- 降低决策成本:盲目调整阈值可能导致通过率骤降或坏账率飙升。联动分析提供数据驱动的调整依据,减少试错成本。
- 支持自动化监控:将 PSI 阈值、SHAP 贡献度变化率与阈值漂移幅度编码为规则引擎,可实现风控模型的自动调优。
实战提示:在信贷风控场景中,建议将 PSI 监控频率设为每日,SHAP 归因分析设为每周,阈值漂移评估设为每月。三者时间粒度不同,但数据链路必须打通。
1.4 三者联动分析的技术栈
| 环节 | 常用工具/库 | 输出指标 | 联动输入 |
|---|---|---|---|
| PSI 计算 | Python (numpy, pandas) | PSI 值、分箱占比 | 特征分布对比表 |
| SHAP 归因 | shap 库 (TreeExplainer, KernelExplainer) | SHAP 值、特征重要性排序 | PSI 预警触发的样本集 |
| 阈值漂移分析 | scikit-learn (ROC, PR 曲线) | 最优阈值、通过率、坏账率 | SHAP 归因结果 + 业务约束 |
| 监控看板 | Grafana / Streamlit | PSI 趋势图、SHAP 瀑布图、阈值漂移曲线 | 三者联动数据流 |
1.5 课程学习路径
本课程共 30 章,按以下结构展开:
- 基础篇(第 1-8 章):PSI 数学原理、SHAP 推导、阈值漂移的统计学基础。
- 实战篇(第 9-18 章):Python 代码实现 PSI 计算、SHAP 可视化、阈值漂移模拟。
- 联动篇(第 19-25 章):构建 PSI-SHAP-阈值漂移联动监控框架,案例实战。
- 进阶篇(第 26-30 章):自动化调优、生产部署、A/B 测试与模型治理。
前置要求:建议学习者具备基础的 Python 编程能力(numpy, pandas, sklearn),了解逻辑回归或树模型的基本原理。本课程不涉及深度学习模型。