4. 漂移检测理论基础：数据漂移 vs 概念漂移
在金融风控场景中，模型上线后并非一成不变。随着时间推移，外部经济环境、用户行为模式、数据采集方式都可能发生变化，导致模型预测能力下降。这种变化统称为模型漂移。理解漂移的类型及其检测方法是构建稳健监控体系的前提。
4.1 数据漂移 (Data Drift) 与概念漂移 (Concept Drift)
漂移主要分为两大类：数据漂移（又称特征漂移、协变量漂移）和概念漂移。两者的核心区别在于：是输入特征分布发生了变化，还是输入与输出之间的映射关系发生了变化。
| 维度 | 数据漂移 (Data Drift) | 概念漂移 (Concept Drift) |
|---|---|---|
| 定义 | 模型输入特征 X 的分布 P(X) 发生变化 |
模型预测目标 y 与特征 X 之间的条件分布 P(y|X) 发生变化 |
| 本质 | 特征空间变了，但映射关系不变 | 特征空间没变，但映射关系变了 |
| 举例 | 用户年龄分布从 25-35 岁变为 40-50 岁；收入特征因通货膨胀整体上移 | 过去高收入用户违约率低，现在高收入用户因行业裁员违约率升高 |
| 对模型影响 | 模型在未见过的特征区间上外推能力下降 | 模型学到的决策边界失效，需要重新训练 |
| 检测方法 | PSI、KS 检验、KL 散度、特征分布对比 | 模型性能监控（AUC、KS 衰减）、残差分析、误差分布变化 |
实战提示：在定价漂移检测中，数据漂移通常先于概念漂移出现。例如，当客群结构发生变化时，模型定价可能暂时准确，但后续违约模式改变会引发概念漂移。建议监控体系同时覆盖两者，形成“特征层 + 性能层”的双层预警。
4.2 漂移检测的统计方法
定量检测漂移需要借助统计指标。以下三种方法是金融风控领域最常用的工具，它们从不同角度衡量分布差异。
4.2.1 群体稳定性指标 (PSI)
PSI 是风控建模中最经典的分布稳定性指标，用于衡量两个样本群体在某个特征或分数上的分布差异。其计算公式基于分箱后的占比变化：
PSI = Σ (P_actual_i - P_expected_i) * ln(P_actual_i / P_expected_i)
其中：
- P_expected_i：基准样本（如训练集）在第 i 个分箱中的占比
- P_actual_i：当前样本（如线上数据）在第 i 个分箱中的占比
- 分箱通常按等频或等距划分为 10 箱PSI 判定标准：
| PSI 值 | 稳定性结论 | 建议动作 |
|---|---|---|
| < 0.1 | 无显著漂移 | 持续监控 |
| 0.1 ~ 0.25 | 轻度漂移 | 关注特征变化，排查原因 |
| > 0.25 | 严重漂移 | 触发预警，考虑模型重训或特征重构 |
4.2.2 KS 检验 (Kolmogorov-Smirnov Test)
KS 检验是一种非参数统计方法，用于判断两个样本是否来自同一分布。它通过计算两个累积分布函数 (CDF) 之间的最大垂直距离来量化差异。
KS 统计量 = max |F_1(x) - F_2(x)|
其中：
- F_1(x)：基准样本的累积分布函数
- F_2(x)：当前样本的累积分布函数
- KS 值越大，说明两个分布差异越大KS 检验在漂移检测中的特点：
- 优势：无需分箱，直接基于原始数据计算，对分布形状敏感。
- 劣势：对样本量敏感，大样本下微小差异也可能显著；仅关注最大差异点，忽略整体分布形态。
- 应用场景：连续型特征的分布对比，如收入、年龄、信用评分。
4.2.3 KL 散度 (Kullback-Leibler Divergence)
KL 散度来自信息论，衡量两个概率分布之间的相对熵。它表示使用基准分布 P 来编码当前分布 Q 时所需的额外信息量。
KL(P || Q) = Σ P(x) * log(P(x) / Q(x))
注意：
- KL 散度是非对称的，即 KL(P||Q) ≠ KL(Q||P)
- 当 P 和 Q 完全相同时，KL 散度为 0
- 值越大，分布差异越大KL 散度 vs PSI：PSI 实际上是 KL 散度的一种对称化变体。PSI 同时计算了 KL(P||Q) + KL(Q||P)，因此具有对称性。在风控实践中，PSI 更常用，但 KL 散度在需要非对称度量时（如关注基准分布中罕见事件的变化）更有价值。
方法选择建议：
- 模型分数/定价漂移：优先使用 PSI，行业标准，解释性强。
- 连续特征分布对比：KS 检验更灵敏，适合自动化监控。
- 类别特征或概率分布：KL 散度或 JS 散度（对称化版本）更合适。
- 组合使用：建议同时计算 PSI 和 KS，从分箱和连续两个角度交叉验证。
4.3 漂移检测流程框架
下图展示了从数据采集到预警触发的完整漂移检测流程，帮助理解各统计方法在体系中的位置。
4.4 三种统计方法的对比总结
在实际项目中，选择哪种方法取决于特征类型、样本量和监控粒度。下表从多个维度进行对比，便于快速决策。
| 维度 | PSI | KS 检验 | KL 散度 |
|---|---|---|---|
| 数据类型 | 连续/离散（需分箱） | 连续（无需分箱） | 概率分布/离散 |
| 对称性 | 对称 | 对称 | 非对称 |
| 对尾部敏感度 | 中等 | 低（关注最大差异） | 高（对罕见事件敏感） |
| 分箱依赖 | 强（分箱方式影响结果） | 无 | 弱（需离散化） |
| 计算复杂度 | 低 | 低 | 中 |
| 行业接受度 | 最高（风控标准） | 高（统计检验标准） | 中（学术研究常用） |
| 阈值经验 | 0.1 / 0.25 | P值 < 0.05 | 无固定阈值，需经验积累 |
常见误区：
- PSI 分箱不当：分箱过少会掩盖局部漂移，分箱过多会导致噪声放大。建议使用等频分箱，每箱至少包含 5% 的样本。
- KS 检验的样本量陷阱：当样本量超过 10 万时，KS 检验几乎总能检测出显著差异，此时应关注 KS 统计量的绝对值而非 P 值。
- KL 散度的无穷大问题：当某个分箱在基准分布中有概率但在当前分布中概率为 0 时，KL 散度会趋于无穷。建议对零概率做平滑处理（如加 1e-6）。
4.5 在 XGBoost 定价模型中的应用
针对 XGBoost 定价模型，漂移检测需要分层实施：
- 特征层：对每个输入特征（如收入、负债率、历史违约次数）计算 PSI 或 KS，监控数据漂移。
- 模型输出层：对模型输出的定价分数（连续值）计算 PSI，监控整体定价分布是否偏移。
- 性能层：监控模型 AUC、KS、均方误差等指标，检测概念漂移。