1. 课程导论:什么是贷后预警特征漂移,为什么需要检测漂移,课程目标与学习路径
1.1 什么是贷后预警特征漂移
在信贷风险管理中,贷后预警模型依赖历史数据训练出的特征分布来识别逾期风险。然而,随着宏观经济、客群结构、业务策略或数据采集方式的变化,模型输入特征的统计分布会随时间发生改变,这种现象称为特征漂移。
特征漂移的核心表现包括:
- 均值/中位数偏移:如客户收入分布整体下移。
- 方差变化:如还款金额波动加剧。
- 缺失率突变:如某字段突然大量缺失。
- 类别分布失衡:如职业类型占比发生结构性变化。
关键概念:特征漂移 ≠ 模型退化。模型退化是预测能力下降,而特征漂移是输入数据分布的改变,两者可能同时发生,但检测漂移是预警模型失效的前置手段。
1.2 为什么需要检测漂移
贷后预警模型一旦部署上线,若特征分布发生漂移而未及时发现,将导致:
| 风险维度 | 具体后果 | 影响程度 |
|---|---|---|
| 模型准确率 | 预测概率失真,高估或低估逾期风险 | 高 |
| 决策可靠性 | 催收策略误判,资源错配 | 高 |
| 监管合规 | 模型审计不通过,面临处罚 | 中 |
| 业务损失 | 坏账率上升,利润侵蚀 | 高 |
通过系统化的漂移检测,可以实现:
- 早期预警:在模型性能明显下降前发现异常。
- 归因定位:快速锁定是哪些特征发生了漂移。
- 触发重训:为模型迭代提供量化依据。
- 审计留痕:满足监管对模型监控的要求。
行业实践:头部金融机构通常要求对贷后预警模型进行月度或周度的特征漂移检测,并设置自动告警阈值。
1.3 特征漂移的类型与检测方法概览
根据数据性质,特征漂移可分为以下三类,对应不同的检测方法:
| 漂移类型 | 典型场景 | 常用检测方法 |
|---|---|---|
| 数值型特征漂移 | 收入、年龄、负债率等连续变量分布变化 | KS检验、PSI、AD检验 |
| 类别型特征漂移 | 职业、地区、产品类型等离散变量占比变化 | 卡方检验、Cramer's V、JS散度 |
| 缺失模式漂移 | 某字段缺失率突然升高或降低 | 缺失率对比、缺失模式熵 |
1.4 课程目标
完成本课程后,你将能够:
- 理解原理:掌握特征漂移的数学定义与业务含义。
- 动手检测:使用 Python 实现 KS 检验、PSI、卡方检验等核心方法。
- 构建系统:搭建自动化漂移检测流水线,集成告警与报告生成。
- 实战落地:在真实贷后预警数据集上完成端到端漂移检测项目。
1.5 学习路径与章节安排
课程共 30 章,分为四大模块:
| 模块 | 章节范围 | 核心内容 |
|---|---|---|
| 基础篇 | 第 1-5 章 | 漂移概念、Python 环境搭建、数据探索与可视化 |
| 方法篇 | 第 6-15 章 | KS/PSI/AD/卡方/JS散度等检测方法实现 |
| 工程篇 | 第 16-25 章 | 自动化流水线、告警系统、报告生成、模型重训触发 |
| 实战篇 | 第 26-30 章 | 完整项目实战:贷后预警数据集漂移检测全流程 |
1.6 前置知识与工具准备
学习本课程需要具备以下基础:
- Python 基础:熟悉 pandas、numpy、matplotlib 基本操作。
- 统计基础:了解假设检验、分布、p-value 等概念。
- 机器学习基础:了解特征工程与模型评估基本流程。
注意:如果对上述前置知识不熟悉,建议先复习相关基础内容,否则可能影响课程理解进度。
课程中使用的 Python 库包括:
# 核心依赖库
pandas==2.0.3
numpy==1.24.3
scipy==1.11.1
scikit-learn==1.3.0
matplotlib==3.7.2
seaborn==0.12.2
alibi-detect==0.11.3 # 可选,用于高级漂移检测