1. 课程导论：模型漂移的定义、模型漂移对业务的影响、PSI指标在监控中的核心地位
1.1 什么是模型漂移？
模型漂移（Model Drift）是指已部署的机器学习模型在生产环境中的预测性能随时间推移而逐渐下降的现象。这种性能退化并非模型本身代码或参数发生变化，而是由于模型所依赖的输入数据分布或目标变量与真实环境之间的关系发生了改变。
核心定义：模型漂移 = 模型上线时的训练数据分布 ≠ 当前生产环境的数据分布 → 预测准确率下降 → 业务决策质量受损。
模型漂移主要分为以下三种类型：
| 漂移类型 | 英文术语 | 定义 | 典型场景 |
|---|---|---|---|
| 数据漂移 | Data Drift | 模型输入特征（X）的分布发生变化，但特征与标签的关系（P(Y|X)）保持不变 | 用户年龄分布因新客群涌入而偏移；季节性消费行为变化 |
| 概念漂移 | Concept Drift | 输入特征与目标变量之间的映射关系（P(Y|X)）发生变化 | 疫情期间线上购物偏好突变；风控规则因政策调整而失效 |
| 标签漂移 | Label Drift | 目标变量（Y）本身的分布发生变化 | 信贷违约率因经济下行整体上升；疾病发病率季节性波动 |
实践提示：在实际监控中，数据漂移和概念漂移往往同时发生。PSI指标主要用于量化数据漂移，但也能间接反映概念漂移的早期信号。
1.2 模型漂移对业务的影响
模型漂移不是理论问题，而是直接影响业务收入和风险控制的现实威胁。以下是模型漂移在典型业务场景中的具体影响：
- 信贷风控：评分卡模型发生漂移后，高风险客户被误判为低风险，导致坏账率上升 20%-50%；低风险客户被误拒，造成优质客群流失。
- 推荐系统：用户兴趣漂移导致点击率（CTR）下降 15%-30%，推荐内容与用户当前需求脱节，平台留存率降低。
- 反欺诈检测：欺诈模式发生概念漂移后，原有模型漏检率激增，单次欺诈事件可能造成数百万损失。
- 医疗诊断：影像数据因设备更新或患者群体变化产生数据漂移，模型误诊率升高，直接危及患者安全。
关键数据：据行业统计，超过 65% 的已部署模型在 6 个月内会出现可检测的性能退化。未建立漂移监控体系的团队，平均需要 3-6 周才能发现模型失效，而这段时间内造成的业务损失往往是不可逆的。
1.3 PSI指标在监控中的核心地位
群体稳定性指标（Population Stability Index，PSI）是衡量两个样本分布之间差异程度的量化指标。在模型监控领域，PSI 被广泛用于检测模型输入特征或输出分数的分布是否发生显著变化。
PSI 的计算公式：
PSI = Σ (P_i_actual - P_i_expected) × ln(P_i_actual / P_i_expected)
其中：
- P_i_expected = 第 i 个分箱中训练集样本占比（基准分布）
- P_i_actual = 第 i 个分箱中当前生产样本占比（实际分布）
- 分箱数量通常为 10 等频分箱PSI 值的判定标准：
| PSI 范围 | 判定结论 | 建议行动 |
|---|---|---|
| PSI < 0.1 | 分布稳定，无显著漂移 | 常规监控，无需干预 |
| 0.1 ≤ PSI < 0.25 | 轻度漂移，需关注 | 触发告警，排查特征变化原因 |
| PSI ≥ 0.25 | 严重漂移，需立即干预 | 暂停模型、回滚或触发重训练流程 |
PSI 之所以成为模型漂移监控的核心指标，原因如下：
- 通用性强：适用于连续型特征、离散型特征以及模型输出分数（如概率值）。
- 阈值明确：业界通用的 0.1/0.25 阈值体系经过大量实践验证，易于建立告警规则。
- 可解释性好：通过分箱贡献度分析，可以快速定位导致漂移的具体特征区间。
- 计算高效：仅需统计分布占比，计算复杂度低，适合大规模生产环境的实时监控。
1.4 PSI 驱动的模型漂移巡查体系
本课程将围绕 PSI 指标构建一套完整的模型漂移巡查体系，涵盖从指标计算、阈值设定、告警触发到根因定位和模型修复的全流程。以下是课程的核心知识架构：
1.5 本课程学习目标
完成本章及后续课程后，你将能够：
- 独立完成 PSI 指标的计算与可视化，建立生产级漂移监控看板。
- 根据 PSI 阈值体系设定合理的告警规则，避免误报和漏报。
- 通过 PSI 分箱贡献度分析，快速定位导致漂移的具体特征或数据区间。
- 制定模型漂移的应急响应流程，包括告警确认、根因排查、模型修复和回滚策略。
- 构建端到端的模型漂移巡查体系，保障模型在生产环境中的长期稳定运行。
课程特色：本课程提供完整的 Python 代码实现、真实业务案例数据集以及可复用的监控模板，帮助你将 PSI 监控从理论落地到实际生产环境。