1. 课程导论：特征缺失的定义、缺失数据在风控场景中的普遍性、课程目标与学习路径概览
1.1 特征缺失的定义与本质
在风控建模中，特征缺失（Feature Missing）是指数据集中某个或某些样本的特定特征字段没有值、值为空或值为无效占位符的现象。缺失并非简单的“数据丢失”，它往往反映了数据采集流程、用户行为模式或系统处理逻辑中的深层信息。
| 缺失类型 | 定义 | 风控场景典型示例 |
|---|---|---|
| 完全随机缺失（MCAR） | 缺失与否完全独立于观测数据和未观测数据 | 系统随机丢包导致某笔交易的用户设备指纹字段为空 |
| 随机缺失（MAR） | 缺失与否依赖于其他已观测特征 | 高收入用户更倾向于不填写“月收入”字段，收入缺失与职业、学历相关 |
| 非随机缺失（MNAR） | 缺失与否依赖于缺失值本身 | 逾期用户故意不提供“紧急联系人”信息，缺失本身即风险信号 |
核心认知：特征缺失不是“数据错误”，而是风控建模中一种高价值的信息载体。缺失模式本身往往比填充后的数值更具预测力。
1.2 缺失数据在风控场景中的普遍性
风控数据源高度异构、采集链路长、用户配合度差异大，导致特征缺失成为常态而非例外。以下统计反映了缺失在风控领域的普遍程度：
- 信贷申请场景：超过 70% 的申请样本至少存在一个缺失特征，收入、职业、居住时长等核心字段缺失率可达 15%–40%。
- 交易反欺诈场景：设备指纹、IP 地理位置、生物特征等实时采集字段，因网络延迟或 SDK 兼容性问题，缺失率在 5%–25% 之间波动。
- 存量客户监控：历史还款记录、多头借贷查询、社保公积金等第三方数据源，因数据源更新延迟或接口异常，缺失率随时间推移呈上升趋势。
1.3 课程目标
本课程旨在帮助风控建模从业者系统掌握特征缺失的处理方法论，并建立“缺失即信号”的实战思维。完成本课程后，你将能够：
- 诊断缺失模式：使用统计检验和可视化工具区分 MCAR / MAR / MNAR。
- 选择填充策略：根据业务场景和数据分布，在均值/中位数填充、模型预测填充、多重插补等方法中做出合理选择。
- 构建缺失衍生特征：将缺失指示器、缺失率、缺失模式编码作为独立特征加入模型，提升区分度。
- 评估缺失影响：量化缺失对模型 AUC、KS、PSI 等核心指标的影响，制定缺失监控阈值。
- 落地生产部署：设计在线/离线统一的缺失处理管线，确保训练与推理一致性。
1.4 学习路径概览
课程按“认知 → 诊断 → 处理 → 评估 → 部署”五阶段递进设计，共 30 章。以下为整体学习路径：
课前准备：建议提前安装 Python 3.8+、pandas、scikit-learn、missingno、lightgbm 等常用库。课程所有代码示例均可在 Jupyter Notebook 中复现。