1. 课程导论:特征缺失与 PSI 监控在模型生命周期中的重要性

1.1 为什么模型会“变坏”?—— 数据漂移的根源

在机器学习模型上线后,一个常见的误区是认为模型性能会永久保持稳定。实际上,模型所依赖的“数据环境”是动态变化的。当生产环境中的数据分布与训练数据分布产生偏差时,模型预测能力就会下降,这种现象称为 数据漂移。

数据漂移主要分为两类,它们直接威胁模型的可靠性:

漂移类型 定义 典型表现 影响
特征漂移 输入特征(X)的统计分布发生变化 用户年龄分布偏移、收入字段缺失率骤升 模型输入失真,预测基础被破坏
概念漂移 特征与目标(X→Y)的映射关系发生变化 “高消费”不再代表“高信用”,市场政策调整 模型逻辑失效,即使特征分布正常
核心观点: 特征缺失是特征漂移中最常见、最隐蔽的“前兆”。PSI(群体稳定性指标)则是量化特征分布偏移程度的“标尺”。本课程将聚焦于这两大核心监控手段。

1.2 特征缺失巡检:模型生命周期的“第一道防线”

特征缺失率是数据质量的直接体现。在模型推理阶段,如果某个关键特征的缺失率从训练时的 1% 飙升到生产时的 30%,模型将被迫使用默认值或填充值,导致预测结果系统性偏差。

缺失巡检的核心价值在于:

  • 早期预警: 在模型性能(如 AUC、准确率)下降之前,发现数据采集链路的故障。
  • 根因定位: 快速区分是上游系统故障、数据源变更还是业务逻辑调整导致的缺失。
  • 自动化决策: 触发告警、回滚模型或切换至备用特征。
特征缺失巡检流程 生产数据接入 缺失率统计 阈值比对 告警/处置 关键指标:缺失率阈值 训练基线 ± 5% 或绝对缺失率 > 10% 触发告警

1.3 PSI 监控:量化特征分布偏移的“黄金标准”

PSI(Population Stability Index,群体稳定性指标)是衡量两个样本分布差异的常用指标。在模型监控中,它用于比较 生产期特征分布 与 训练期特征分布 的偏移程度。

PSI 的计算逻辑基于分箱后的占比差异:

PSI = Σ ( (实际占比_i - 预期占比_i) * ln(实际占比_i / 预期占比_i) )

PSI 值的解读标准:

PSI 范围 稳定性等级 建议动作
< 0.1 无显著偏移 无需干预,持续监控
0.1 ~ 0.25 轻度偏移 调查原因,准备模型更新
> 0.25 严重偏移 立即告警,停止模型或切换版本
实战提示: PSI 对分箱数量敏感。通常建议分 10 箱(等频或等距),对于离散特征可直接使用类别占比。本课程后续章节将提供 PSI 计算的 Python 实现与调优技巧。

1.4 课程目标与学习路径

本课程旨在帮助数据科学家、MLOps 工程师和 AI 架构师,建立一套从“数据质量巡检”到“分布偏移监控”的完整实战能力。课程不局限于理论,而是提供可直接落地的代码、配置和监控看板设计。

学习路径分为四个阶段:

  1. 基础篇(第 1-5 章): 理解缺失与 PSI 原理,搭建监控指标体系。
  2. 实战篇(第 6-15 章): 使用 Python 实现缺失巡检与 PSI 计算,集成到模型推理管道。
  3. 工程篇(第 16-25 章): 设计自动化告警、可视化看板(Grafana)与 MLOps 流水线。
  4. 进阶篇(第 26-30 章): 处理多模态特征、大规模分布式监控与模型回滚策略。
课程学习路径架构 基础篇 原理与指标体系 第 1-5 章 实战篇 Python 实现 第 6-15 章 工程篇 告警与看板 第 16-25 章 进阶篇 多模态与回滚 第 26-30 章 学习产出 掌握特征缺失巡检脚本、PSI 监控看板、自动化告警流水线 具备独立构建生产级模型监控体系的能力

1.5 课程适用人群与前置知识

  • 数据科学家 / 算法工程师: 希望提升模型上线后的稳定性与可观测性。
  • MLOps / AI 平台工程师: 需要设计监控组件与自动化运维流程。
  • 技术管理者: 评估模型风险,制定数据质量与模型治理规范。
前置要求: 学员需具备 Python 基础编程能力,了解 pandas、numpy 基本操作,对机器学习建模流程有初步认识。本课程不涉及深度学习模型内部结构,但会使用 scikit-learn 进行特征处理。