1. 课程导论：什么是PSI（群体稳定性指标）？为什么PSI是模型监控的核心指标？
1.1 什么是群体稳定性指标（PSI）？
群体稳定性指标（Population Stability Index，PSI）是一种衡量两个样本分布之间差异程度的统计量。在模型监控场景中，PSI 用于量化模型评分（或预测概率）在开发样本与生产样本之间的分布偏移程度。简单来说，PSI 回答了这样一个问题：“模型当前看到的输入数据，与它被训练时看到的数据，是否还属于同一个‘世界’？”
PSI 的计算基于对评分区间进行分箱（通常为 10 或 20 等分），然后比较每个箱内样本占比的变化。其核心公式为：
PSI = Σ (实际占比_i - 预期占比_i) × ln(实际占比_i / 预期占比_i)其中：
- 预期占比（Expected）：模型开发或验证阶段，落在第 i 个分数区间的样本比例。
- 实际占比（Actual）：当前生产监控周期内，落在第 i 个分数区间的样本比例。
关键理解： PSI 本质上是一种分布距离度量，与 KL 散度（Kullback-Leibler divergence）有密切的数学联系。当两个分布完全一致时，PSI = 0；差异越大，PSI 值越高。
1.2 为什么PSI是模型监控的核心指标？
在机器学习模型的生命周期中，数据分布并非一成不变。业务环境、用户行为、市场政策、数据采集方式等因素的变化，都会导致模型输入特征的分布发生偏移。这种偏移如果未被及时发现，将直接导致模型预测能力下降，甚至产生错误的业务决策。PSI 之所以成为模型监控的核心指标，主要基于以下三个不可替代的价值：
| 价值维度 | 具体说明 | 业务影响 |
|---|---|---|
| 早期预警 | PSI 能够在模型性能（如 AUC、准确率）明显下降之前，提前捕捉到数据分布的细微变化。 | 为数据团队争取模型重训或调整的窗口期，避免大规模业务损失。 |
| 归因定位 | 通过计算每个特征的 PSI，可以快速定位是哪个特征发生了漂移，从而缩小问题排查范围。 | 从“模型坏了”的模糊结论，精确到“年龄特征分布偏移”的具体根因。 |
| 通用可比 | PSI 是一个无量纲的标准化指标，可以跨模型、跨时间窗口、跨业务线进行横向对比。 | 建立统一的模型健康度仪表盘，实现监控体系的标准化管理。 |
行业经验： 在信贷风控、反欺诈、推荐系统等场景中，PSI 通常被列为模型监控的第一优先级指标。许多监管机构（如银保监会）也明确要求金融机构对模型进行 PSI 定期监控并记录告警日志。
1.3 PSI 漂移的典型阈值与告警等级
在实际工程中，PSI 的数值解读通常遵循以下行业通用标准。需要注意的是，不同业务场景的敏感度不同，阈值可根据模型重要性进行微调。
| PSI 数值范围 | 漂移等级 | 建议动作 |
|---|---|---|
| PSI < 0.1 | 无显著漂移 | 正常监控，无需干预。 |
| 0.1 ≤ PSI < 0.25 | 轻度漂移 | 触发告警，通知数据科学家进行人工审查，分析漂移来源。 |
| PSI ≥ 0.25 | 严重漂移 | 触发紧急告警，建议立即暂停模型决策或切换至备用模型，启动模型重训流程。 |
注意： 阈值并非绝对。对于高风险模型（如信用评分卡），建议将轻度漂移阈值下调至 0.05；对于低风险模型（如营销推荐），可适当放宽至 0.15。务必根据业务容忍度进行个性化配置。
1.4 PSI 在模型监控体系中的位置
为了更直观地理解 PSI 的角色，下图展示了模型监控体系中各组件之间的协作关系。PSI 作为数据质量监控层的核心组件，向下承接特征数据流，向上为模型性能评估和告警决策提供关键输入。
1.5 课程目标与学习路径
本教程旨在帮助学员从零到一构建一套完整的 PSI 漂移告警系统。通过理论结合实战，学员将掌握以下核心能力：
- 理解原理：深入理解 PSI 的数学本质、计算逻辑及其与 KL 散度的关系。
- 工程实现：掌握使用 Python（Pandas / NumPy / Scipy）高效计算 PSI 的代码实现。
- 告警设计：学会设计合理的 PSI 阈值、告警等级以及多级通知机制。
- 系统集成：能够将 PSI 监控模块集成到现有的模型服务平台或 MLOps 流水线中。
- 根因分析：掌握通过特征级 PSI 分解定位漂移根因的实战方法。
整个课程分为四个阶段，循序渐进：
| 阶段 | 章节范围 | 核心产出 |
|---|---|---|
| 基础篇 | 第 1-5 章 | 掌握 PSI 理论、Python 计算函数、单特征漂移检测脚本 |
| 进阶篇 | 第 6-15 章 | 构建多特征 PSI 监控管道、设计告警规则引擎、集成日志系统 |
| 实战篇 | 第 16-25 章 | 基于真实信贷数据集完成端到端 PSI 监控系统开发 |
| 优化篇 | 第 26-30 章 | 性能优化、可视化仪表盘、A/B 测试与模型回滚策略 |
学习建议： 建议学员在阅读每章内容后，立即动手运行配套的代码示例。PSI 监控是一项工程性很强的技能，“纸上得来终觉浅，绝知此事要躬行”。请准备好 Python 3.8+ 环境和 Jupyter Notebook，跟随课程一起构建你的第一个 PSI 告警系统。