2. 模型稳定性基础概念

模型稳定性是生产环境机器学习系统的核心质量属性。一个稳定的模型在时间推移、数据分布变化或业务环境迁移时，其预测行为、性能指标和决策边界应保持可预期的水平。当模型不再稳定时，即发生模型漂移。理解漂移的类型与区别，是构建监控体系的第一步。

2.1 什么是模型稳定性

模型稳定性（Model Stability）衡量模型在时间维度上输出分布与性能指标的一致性。常用量化指标包括：

• PSI（Population Stability Index）：衡量模型预测分数分布随时间的变化程度。
• CSI（Characteristic Stability Index）：衡量输入特征分布随时间的变化程度。
• 性能指标波动：如 AUC、准确率、F1-score 在时间窗口内的标准差或变异系数。

2.2 模型漂移的三种类型

模型漂移（Model Drift）根据变化来源可分为三类：概念漂移、数据漂移和标签漂移。三者相互关联，但成因与应对策略截然不同。

2.2.1 概念漂移（Concept Drift）

概念漂移指输入特征 X 与目标变量 y 之间的映射关系发生变化。即：同样的特征值，在时间 t 和 t+1 对应不同的真实标签分布。

• 示例： 疫情期间，用户消费行为与信用风险的关系发生根本性改变——原本低风险的用户群体因行业冲击出现大量逾期。
• 检测方法： 监控模型性能指标（AUC、KS、准确率）随时间的变化趋势。
• 应对策略： 模型重训、在线学习、集成自适应模型。

2.2.2 数据漂移（Data Drift / Covariate Shift）

数据漂移指输入特征 X 的分布发生变化，但 X 与 y 的映射关系保持不变。即：模型看到的输入数据整体偏移了训练集的分布。

• 示例： 信贷模型训练时用户年龄集中在 25-40 岁，上线后因新渠道获客，用户年龄分布变为 18-25 岁为主。
• 检测方法： PSI、CSI、KS 检验、卡方检验、JS 散度。
• 应对策略： 特征工程调整、数据重采样、模型校准、定期重训。

2.2.3 标签漂移（Label Drift / Prior Probability Shift）

标签漂移指目标变量 y 的先验分布发生变化，而特征分布和映射关系可能不变。即：正负样本比例发生系统性偏移。

• 示例： 反欺诈模型中，正常交易与欺诈交易的比例从 1000:1 变为 500:1，导致模型预测概率整体偏高。
• 检测方法： 监控标签分布、样本比例、预测概率的直方图变化。
• 应对策略： 阈值调整、样本加权、代价敏感学习。

2.3 三种漂移的对比与关系

三种漂移在实际场景中往往同时发生或相互诱发。例如：数据漂移（新用户群体进入）可能导致概念漂移（新群体的风险模式不同），进而引发标签漂移（整体逾期率变化）。因此，联合监控策略比单一指标监控更可靠。

2.4 漂移检测的常见误区

1. 只监控 PSI 就足够：PSI 仅反映数据漂移，无法捕捉概念漂移和标签漂移。
2. 漂移一定需要立即重训：轻度漂移可通过阈值调整或特征工程缓解，频繁重训反而引入不稳定。
3. 训练集与测试集分布一致即代表稳定：线上环境随时间变化，离线评估无法替代持续监控。
4. 所有特征漂移都同等重要：应优先监控 SHAP 重要性高的特征，而非所有特征。