1. 课程导入
在金融风控、信用评分、量化交易与反欺诈等场景中，模型上线并不意味着工作结束。数据分布会随宏观经济、监管政策、客群结构与市场行为持续变化，模型性能随之衰减，这种现象就是模型漂移。本课程的目标，是帮助学员建立一套从“发现漂移”到“定位原因”的完整工程能力，而不是停留在单一指标监控层面。
学习目标
- 理解数据漂移、概念漂移、标签漂移与模型衰减之间的区别与联系。
- 掌握 PSI、KS、KL 散度、Wasserstein 距离等漂移检测指标的适用边界。
- 能够结合业务成本与风险容忍度，科学设定预警阈值与告警分级。
- 建立从监控信号到特征、样本、规则、外部环境的根因诊断路径。
- 通过可复现的代码与日志，把漂移治理嵌入模型全生命周期。
核心概念：漂移不是单一现象
很多团队把“模型效果下降”直接等同于“模型漂移”，这是常见误区。实际上，漂移至少可以分为四类：数据漂移指输入特征分布变化；概念漂移指特征与标签之间的真实关系变化；标签漂移指目标变量分布变化；模型衰减则是上述变化在业务指标上的综合体现。检测时若混淆这些层次，就会把数据问题误判为模型问题，或反之。
判断顺序建议：先看输入特征分布，再看标签分布，最后看特征与标签的关系是否稳定。这个顺序能显著降低误诊率。
整体框架：监控、阈值、诊断、处置
本课程采用四层闭环框架。第一层是监控层，持续采集特征、预测分、标签与业务结果；第二层是阈值层，把统计指标转化为可执行的告警等级；第三层是诊断层，定位漂移来源是单特征、客群切片还是外部事件；第四层是处置层，决定重训、调参、换特征还是人工复核。
方法流程：从指标到决策
一个可落地的漂移检测流程通常包含以下步骤：
- 确定监控对象：核心特征、模型分数、标签与业务 KPI。
- 选择基准窗口：通常使用训练集或最近一次稳定上线版本的数据。
- 计算漂移指标：连续变量用 PSI、KS、Wasserstein，类别变量用 PSI 或卡方。
- 设定阈值：结合历史波动分位数与业务影响，而非拍脑袋定 0.1 或 0.25。
- 触发诊断：按特征重要性、客群切片、时间窗口逐层下钻。
- 执行处置：重训、特征替换、规则兜底或人工介入，并记录复盘。
阈值不是固定常数。建议用“历史分位数 + 业务成本”双轨法：例如 PSI 超过过去 90 天 95 分位且影响坏账率超过 0.5 个百分点，才升级为紧急告警。
案例场景：信贷评分卡漂移
某消费金融公司的评分卡上线三个月后，AUC 从 0.78 降至 0.71。监控发现“近 6 个月查询次数”这一特征的 PSI 达到 0.32，而标签分布基本稳定。进一步切片发现，新客群占比从 18% 升至 41%，且该客群在训练集中样本极少。根因不是模型算法退化，而是客群结构变化导致特征分布漂移。处置方案是补充新客群样本重训，并对该特征做分群标准化。
# 漂移检测日志示例
[2025-06-01] feature=query_cnt_6m psi=0.32 level=CRITICAL
[2025-06-01] feature=credit_score psi=0.04 level=OK
[2025-06-01] label=default_flag psi=0.03 level=OK
[2025-06-01] slice=new_customer ratio=0.41 drift=HIGH
[2025-06-01] action=retrain_with_new_segment常见误区与复盘要点
| 误区 | 后果 | 正确做法 |
|---|---|---|
| 只看模型 AUC，不看特征分布 | 发现太晚，业务已受损 | 建立特征级与分数级双监控 |
| 阈值一刀切，全特征用同一标准 | 误报或漏报严重 | 按特征稳定性与重要性分级设阈 |
| 把漂移等同于模型失效 | 盲目重训，浪费资源 | 先诊断漂移类型再决定处置 |
| 没有基准窗口版本管理 | 指标不可比，无法复盘 | 固定基准并记录每次变更 |
漂移检测的最大风险不是漏报，而是“告警疲劳”。如果阈值过松，团队会逐渐忽略告警；如果过严，又会频繁重训。阈值治理本身需要持续迭代。
本课程后续将围绕上述框架展开：先讲检测指标与实现，再讲阈值设定与分级，最后深入根因诊断与处置策略。掌握这套方法后，你不仅能发现模型“病了”，还能说清楚“病在哪里、为什么病、该怎么治”。