1. 课程导论:特征缺失与 PSI 监控在模型生命周期中的重要性
1.1 为什么模型会“变坏”?—— 数据漂移的根源
在机器学习模型上线后,一个常见的误区是认为模型性能会永久保持稳定。实际上,模型所依赖的“数据环境”是动态变化的。当生产环境中的数据分布与训练数据分布产生偏差时,模型预测能力就会下降,这种现象称为 数据漂移。
数据漂移主要分为两类,它们直接威胁模型的可靠性:
| 漂移类型 | 定义 | 典型表现 | 影响 |
|---|---|---|---|
| 特征漂移 | 输入特征(X)的统计分布发生变化 | 用户年龄分布偏移、收入字段缺失率骤升 | 模型输入失真,预测基础被破坏 |
| 概念漂移 | 特征与目标(X→Y)的映射关系发生变化 | “高消费”不再代表“高信用”,市场政策调整 | 模型逻辑失效,即使特征分布正常 |
核心观点: 特征缺失是特征漂移中最常见、最隐蔽的“前兆”。PSI(群体稳定性指标)则是量化特征分布偏移程度的“标尺”。本课程将聚焦于这两大核心监控手段。
1.2 特征缺失巡检:模型生命周期的“第一道防线”
特征缺失率是数据质量的直接体现。在模型推理阶段,如果某个关键特征的缺失率从训练时的 1% 飙升到生产时的 30%,模型将被迫使用默认值或填充值,导致预测结果系统性偏差。
缺失巡检的核心价值在于:
- 早期预警: 在模型性能(如 AUC、准确率)下降之前,发现数据采集链路的故障。
- 根因定位: 快速区分是上游系统故障、数据源变更还是业务逻辑调整导致的缺失。
- 自动化决策: 触发告警、回滚模型或切换至备用特征。
1.3 PSI 监控:量化特征分布偏移的“黄金标准”
PSI(Population Stability Index,群体稳定性指标)是衡量两个样本分布差异的常用指标。在模型监控中,它用于比较 生产期特征分布 与 训练期特征分布 的偏移程度。
PSI 的计算逻辑基于分箱后的占比差异:
PSI = Σ ( (实际占比_i - 预期占比_i) * ln(实际占比_i / 预期占比_i) )
PSI 值的解读标准:
| PSI 范围 | 稳定性等级 | 建议动作 |
|---|---|---|
| < 0.1 | 无显著偏移 | 无需干预,持续监控 |
| 0.1 ~ 0.25 | 轻度偏移 | 调查原因,准备模型更新 |
| > 0.25 | 严重偏移 | 立即告警,停止模型或切换版本 |
实战提示: PSI 对分箱数量敏感。通常建议分 10 箱(等频或等距),对于离散特征可直接使用类别占比。本课程后续章节将提供 PSI 计算的 Python 实现与调优技巧。
1.4 课程目标与学习路径
本课程旨在帮助数据科学家、MLOps 工程师和 AI 架构师,建立一套从“数据质量巡检”到“分布偏移监控”的完整实战能力。课程不局限于理论,而是提供可直接落地的代码、配置和监控看板设计。
学习路径分为四个阶段:
- 基础篇(第 1-5 章): 理解缺失与 PSI 原理,搭建监控指标体系。
- 实战篇(第 6-15 章): 使用 Python 实现缺失巡检与 PSI 计算,集成到模型推理管道。
- 工程篇(第 16-25 章): 设计自动化告警、可视化看板(Grafana)与 MLOps 流水线。
- 进阶篇(第 26-30 章): 处理多模态特征、大规模分布式监控与模型回滚策略。
1.5 课程适用人群与前置知识
- 数据科学家 / 算法工程师: 希望提升模型上线后的稳定性与可观测性。
- MLOps / AI 平台工程师: 需要设计监控组件与自动化运维流程。
- 技术管理者: 评估模型风险,制定数据质量与模型治理规范。
前置要求: 学员需具备 Python 基础编程能力,了解 pandas、numpy 基本操作,对机器学习建模流程有初步认识。本课程不涉及深度学习模型内部结构,但会使用 scikit-learn 进行特征处理。