1. 课程导论：特征缺失与 PSI 指标在数据质量监控中的核心地位
1.1 为什么数据质量监控是机器学习落地的“生命线”
在工业级机器学习系统中，模型从开发到上线并非终点，而是持续监控与迭代的起点。数据质量监控是保障模型稳定性的第一道防线。特征缺失与分布偏移（PSI）是其中最核心、最易触发报警的两类问题。
- 特征缺失：直接影响模型输入完整性，导致推理结果不可用或产生偏差。
- PSI（群体稳定性指标）：量化特征分布随时间的变化，是判断模型是否需要重新训练的关键依据。
核心观点： 缺失率与 PSI 是数据质量监控的“双引擎”，缺一不可。缺失率反映数据完整性，PSI 反映数据分布一致性。
1.2 特征缺失与 PSI 的对比关系
| 维度 | 特征缺失 | PSI（群体稳定性指标） |
|---|---|---|
| 监控对象 | 单个特征的缺失比例 | 特征整体分布的变化幅度 |
| 典型阈值 | 缺失率 > 5% 触发警告，> 20% 触发严重告警 | PSI < 0.1 无变化；0.1~0.25 需关注；> 0.25 需重建 |
| 检测频率 | 每批次/每小时 | 每天/每周 |
| 修复动作 | 填充、剔除、回溯数据源 | 特征工程调整、模型重训、回滚版本 |
| 业务影响 | 推理结果缺失或错误 | 模型预测偏差、AUC 下降 |
1.3 课程目标与学习路径
本课程旨在帮助数据工程师、算法工程师与 MLOps 人员，系统掌握特征缺失巡检与 PSI 指标应用的全流程实践技能。
课程三大目标
- 掌握缺失巡检体系：从单特征缺失率到多维交叉缺失分析，构建可落地的巡检规则。
- 精通 PSI 计算与解读：理解分箱、期望占比、实际占比的数学原理，并能结合业务场景判断阈值。
- 搭建监控看板与自动化告警：使用 Python 实现巡检脚本，并集成到 Airflow/调度平台。
学习路径图
学习建议： 建议按照路径图顺序学习，每完成一个模块后，使用配套数据集进行实操练习，加深对指标计算与阈值设定的理解。
1.4 课程适用人群与前置知识
| 角色 | 关注点 | 前置要求 |
|---|---|---|
| 数据工程师 | 数据管道稳定性、缺失率监控 | Python 基础、SQL 基础 |
| 算法工程师 | 模型分布偏移、特征工程 | 机器学习基础、Pandas 使用经验 |
| MLOps 工程师 | 监控系统搭建、告警规则配置 | Airflow/调度平台使用经验 |
1.5 课程章节速览
- 第 1 章：课程导论（本章）—— 建立数据质量监控的整体认知。
- 第 2~5 章：特征缺失巡检 —— 从单特征到多维交叉，从规则到自动化。
- 第 6~10 章：PSI 指标深度解析 —— 数学原理、分箱策略、阈值设定。
- 第 11~15 章：监控看板与告警系统 —— 从脚本到平台化。
- 第 16~20 章：实战案例与故障复盘 —— 真实业务场景演练。
注意： 本课程所有代码与数据集均可在配套资源中获取。请勿在生产环境直接使用示例阈值，需根据业务数据分布进行调优。