1. 课程导论：特征缺失与 PSI 指标在模型监控中的重要性、课程目标与学习路径
1.1 为什么模型上线后需要持续监控？
机器学习模型在离线训练阶段通常表现良好，但一旦部署到生产环境，数据分布、业务逻辑和外部环境的变化会持续侵蚀模型性能。如果不加以监控，模型预测质量会逐渐下降，导致业务决策失误。在众多监控维度中，特征缺失与特征分布偏移是最早、最敏感的两类预警信号。
核心观点： 特征缺失率飙升和 PSI（Population Stability Index）超标，往往是模型性能衰退的前兆。提前发现并处理这两类问题，可以避免模型“带病上线”或“带病运行”。
1.2 特征缺失：模型输入的“第一道防线”
特征缺失是指模型推理时，某个或某些特征字段没有有效值。缺失率过高会直接导致：
- 推理失败或降级： 部分模型无法处理空值，直接报错；即使模型有默认填充逻辑，填充值也可能偏离真实分布。
- 预测偏差： 缺失值被填充为均值、中位数或常数后，会改变特征与目标之间的真实关系。
- 数据质量事故： 上游数据源变更、ETL 脚本错误、网络延迟等都可能引发大规模缺失。
| 缺失类型 | 典型原因 | 监控阈值建议 |
|---|---|---|
| 完全随机缺失 | 传感器偶发故障、用户未填写 | 单特征缺失率 > 5% 触发警告 |
| 随机缺失 | 依赖其他字段的过滤条件 | 单特征缺失率 > 10% 触发告警 |
| 非随机缺失 | 系统故障、上游表结构变更 | 单特征缺失率 > 20% 触发紧急告警 |
1.3 PSI 指标：量化特征分布偏移的“标尺”
PSI（Population Stability Index）衡量的是模型训练集（期望分布）与生产环境（实际分布）之间的差异。PSI 值越大，说明特征分布偏移越严重，模型越可能失效。
PSI = Σ ( (P_actual_i - P_expected_i) * ln(P_actual_i / P_expected_i) )| PSI 范围 | 偏移程度 | 建议动作 |
|---|---|---|
| PSI < 0.1 | 无显著偏移 | 继续监控，无需干预 |
| 0.1 ≤ PSI < 0.25 | 轻度偏移 | 排查原因，准备模型更新 |
| PSI ≥ 0.25 | 严重偏移 | 立即告警，暂停模型或回滚 |
实践建议： 不要只监控模型输出的 PSI，更要监控每个重要特征的 PSI。特征级 PSI 能精准定位是哪个字段发生了漂移，便于快速修复。
1.4 特征缺失与 PSI 的联动关系
特征缺失和 PSI 并非孤立存在。高缺失率本身就会改变特征的有效分布，从而推高 PSI 值。例如：
- 某特征缺失率从 2% 飙升到 30%，模型填充策略将大量样本的该特征值设为常数，导致该特征分布严重偏离训练集。
- 缺失率上升 → 有效样本减少 → 统计量不稳定 → PSI 波动加剧。
因此，一个完善的监控系统必须同时巡检这两个指标，并建立联动告警规则。
1.5 课程目标与学习路径
本课程旨在帮助数据科学家、ML 工程师和 MLOps 人员掌握一套可落地的特征缺失巡检与 PSI 监控方法。完成本课程后，你将能够：
- 设计并实现特征缺失率的实时/离线巡检管道。
- 正确计算并解读 PSI 指标，区分特征级与模型级 PSI。
- 搭建监控仪表盘，设置合理的告警阈值与升级策略。
- 制定缺失处理与分布偏移的应急响应流程。
| 章节 | 核心内容 | 学习产出 |
|---|---|---|
| 第 1 章 | 课程导论与重要性 | 理解监控的必要性，建立全局认知 |
| 第 2-5 章 | 特征缺失巡检方法 | 掌握缺失检测、统计、告警技术 |
| 第 6-10 章 | PSI 指标计算与解读 | 熟练计算 PSI，识别分布偏移 |
| 第 11-15 章 | 监控系统搭建与实战 | 完成一个端到端的监控原型 |
| 第 16-20 章 | 高级主题与案例 | 处理多模态、大规模、实时场景 |
1.6 特征缺失与 PSI 监控全景图
下图展示了特征缺失巡检与 PSI 监控在模型生命周期中的位置，以及两者之间的数据流关系。
常见误区： 很多团队只监控模型整体的 AUC 或准确率，忽略了特征级别的缺失和 PSI。等到模型指标恶化时，问题已经积累了一段时间，排查成本极高。特征缺失巡检和 PSI 监控是“早发现、早治疗”的关键手段。
1.7 本章小结
特征缺失巡检和 PSI 指标监控是模型生产化后不可或缺的两项基础能力。缺失率反映数据供给的健康度，PSI 反映特征分布的稳定性。两者结合，可以覆盖从数据输入到模型输出的主要风险点。本课程将围绕这两条主线，逐步深入讲解检测方法、工具实现和最佳实践，帮助你构建一套可靠的模型监控体系。