1. 课程概述：缺失特征巡检与PSI的基本概念、课程目标与适用人群
1.1 为什么需要关注“缺失特征”与“PSI”？
在风控模型上线后，特征数据的质量会随时间、客群结构、业务策略等因素发生偏移。其中，特征缺失率是最直观、最容易被忽视的早期预警信号。当某个关键特征的缺失率从训练期的 2% 突然上升至 15%，往往意味着上游数据源故障、埋点变更或客群准入规则失效。
PSI（Population Stability Index，群体稳定性指标） 则用于量化特征分布的整体偏移程度。将缺失特征巡检与 PSI 监控结合，可以构建从“单特征缺失异常”到“整体分布漂移”的立体告警体系。
核心观点： 缺失率是“点”的异常，PSI 是“面”的偏移。两者联动，才能避免漏报与误报。
1.2 课程目标
通过本课程，学员将掌握以下核心能力：
| 目标维度 | 具体内容 | 可交付成果 |
|---|---|---|
| 概念理解 | 缺失特征类型（MCAR/MAR/MNAR）、PSI 计算公式与分箱策略 | 概念辨析清单 |
| 阈值设定 | 基于业务容忍度与统计分布，制定缺失率与 PSI 的告警阈值 | 阈值配置表 |
| 巡检实现 | 使用 Python 实现自动化缺失特征巡检与 PSI 计算流水线 | 可复用代码模板 |
| 告警优化 | 降低误报率、设置分级告警、联动根因分析 | 告警策略文档 |
1.3 适用人群
本课程面向以下三类角色，每类角色的关注点略有不同：
- 数据质量工程师：负责特征监控 pipeline 搭建，关注缺失率计算逻辑、巡检频率与告警通道配置。
- 风控模型专家：关注 PSI 阈值对模型稳定性的影响，需要理解缺失特征如何扭曲评分分布。
- 数据分析师/策略分析师：日常查看监控报表，需要快速定位异常特征并判断是否影响业务决策。
学习建议： 如果你是数据质量工程师，建议重点学习第 3-5 章的代码实现与阈值校准方法；如果你是风控模型专家，第 6-8 章的 PSI 分箱策略与业务联动分析更值得深入。
1.4 课程知识体系总览
下表展示了本课程 30 章内容的逻辑结构，帮助学员建立全局视角：
| 模块 | 章节范围 | 核心内容 |
|---|---|---|
| 基础概念 | 第 1-4 章 | 缺失机制、PSI 公式、分箱方法、阈值初探 |
| 阈值设定方法论 | 第 5-10 章 | 统计分布法、业务容忍度法、模拟测试、多特征联合阈值 |
| 工程实现 | 第 11-18 章 | Python 巡检框架、PSI 计算优化、告警通道集成、调度策略 |
| 实战案例 | 第 19-25 章 | 信贷评分卡、反欺诈模型、时序特征、高维稀疏特征场景 |
| 进阶与运维 | 第 26-30 章 | 阈值自适应更新、误报治理、监控大盘设计、复盘模板 |
1.5 前置知识要求
为获得最佳学习体验，建议学员具备以下基础：
- 熟悉 Python 基础语法，了解 pandas、numpy 基本操作。
- 了解风控模型基本流程（训练、验证、上线、监控）。
- 对统计学中的分布、分位数、假设检验有基本认知。
注意： 本课程不涉及深度学习或复杂模型结构，重点在于数据质量监控的工程化与策略设计。如果你完全零基础，建议先补充 Python 数据处理基础。