1. 课程导论：什么是模型监控、为什么需要PSI与Drift、课程目标与适用人群
1.1 模型监控：从“上线即结束”到“上线即开始”
在传统软件开发中，系统上线往往意味着项目交付的终点。但在机器学习工程中，模型部署到生产环境恰恰是监控工作的起点。模型监控是指对生产环境中运行的机器学习模型进行持续跟踪、度量与告警的过程，其核心目标是确保模型输出的稳定性、准确性与业务价值。
模型监控需要覆盖三个关键维度：
- 数据质量监控：输入特征是否完整、取值范围是否合理、缺失率是否异常。
- 模型性能监控：准确率、精确率、召回率、AUC等业务指标是否维持在可接受阈值内。
- 模型稳定性监控：模型输出的分布、特征分布是否随时间发生显著偏移——这正是PSI与Drift的核心战场。
核心认知： 一个在离线测试集上AUC=0.95的模型，上线后可能因为数据分布变化在两周内跌至0.70。没有监控，你甚至不知道它何时“生病”。
1.2 为什么需要PSI与Drift：稳定性的“体温计”与“CT机”
模型性能下降通常不是突然发生的，而是由数据分布缓慢偏移累积导致的。PSI（Population Stability Index，群体稳定性指标）和Drift（分布偏移检测）是量化这种偏移的两类核心技术。
| 对比维度 | PSI（群体稳定性指标） | Drift（分布偏移检测） |
|---|---|---|
| 核心思想 | 比较两个时间段内样本在分数/概率区间上的占比变化 | 比较两个时间段内特征或模型输出的分布差异 |
| 常用方法 | 分箱后计算各区间占比，代入PSI公式 | KS检验、JS散度、Wasserstein距离、对抗验证 |
| 输出形式 | 单一数值（通常阈值：<0.1稳定，0.1~0.25需关注，>0.25严重偏移） | 统计量或p值（p<0.05通常认为存在显著偏移） |
| 适用场景 | 评分卡、信用分、概率输出类模型 | 回归、分类、特征分布、嵌入向量等任意分布 |
| 业务解读 | “客群结构是否变了？” | “特征背后的数据生成过程是否变了？” |
在实际异常波动复盘中，PSI和Drift往往配合使用：PSI提供业务可解释的“宏观体温”，Drift提供统计严谨的“微观CT扫描”。两者结合，才能快速定位波动根因是客群漂移、特征失效还是外部环境变化。
经验法则： 在风控评分卡场景中，PSI是监管合规的标配指标；在推荐系统和NLP模型中，Drift检测（尤其是对抗验证）更常见。课程中会覆盖两种场景的最佳实践。
1.3 课程目标与适用人群
本课程旨在帮助学员建立一套完整的异常波动复盘方法论，核心目标如下：
- 理解原理：掌握PSI公式推导、Drift检测的统计基础与业务含义。
- 动手计算：能够使用Python（pandas、scipy、alibi-detect）实现PSI与Drift的自动化计算。
- 复盘实战：通过真实案例（信贷评分下降、推荐点击率骤跌）演练从“发现异常”到“定位根因”再到“输出报告”的全流程。
- 搭建看板：设计可落地的模型监控看板，包含PSI趋势图、Drift告警规则与周报模板。
适用人群：
- 机器学习工程师 / MLOps工程师：需要搭建生产环境监控体系。
- 数据分析师 / 算法工程师：经常面对模型效果波动，需要科学归因。
- 风控建模师 / 信用评分卡开发者：PSI是监管审计的必选项。
- 技术管理者：希望建立团队级的模型健康度评估标准。
1.4 模型监控与偏移检测的整体架构
下图展示了从数据输入到异常告警的完整监控链路，PSI与Drift在其中扮演“分布比较器”的核心角色。
1.5 课程路线图
本课程共30章，按“原理→方法→实战→复盘”四阶段递进：
| 阶段 | 章节范围 | 核心产出 |
|---|---|---|
| 原理篇 | 第1~6章 | PSI公式推导、Drift统计基础、分布距离度量 |
| 方法篇 | 第7~14章 | Python代码实现、阈值设定、可视化看板 |
| 实战篇 | 第15~24章 | 信贷评分、推荐系统、NLP三大场景完整复盘 |
| 复盘篇 | 第25~30章 | 异常报告模板、根因定位树、监控体系设计 |
课前准备： 建议学员提前安装Python 3.8+环境，并熟悉pandas、numpy、scipy、matplotlib基础操作。第7章开始会提供完整的Jupyter Notebook代码示例。