缺失特征分类：完全缺失、部分缺失、随机缺失、非随机缺失
在金融风控场景中，特征缺失并非单一形态。不同缺失类型对模型训练、特征工程和风险决策的影响截然不同。本章从两个维度对缺失特征进行系统分类：缺失程度（完全缺失 vs. 部分缺失）和缺失机制（随机缺失 vs. 非随机缺失）。理解这些分类是制定巡检策略和选择填充方法的前提。
一、按缺失程度分类
缺失程度描述的是特征在样本空间中的覆盖情况，直接决定该特征是否可用于建模。
| 类型 | 定义 | 金融场景典型示例 | 巡检处理建议 |
|---|---|---|---|
| 完全缺失 | 某个特征在所有样本中均无有效值（100% 缺失） | 新接入的数据源字段未映射；历史数据中从未采集的“社保缴纳基数” | 直接剔除该特征；若为强相关特征，需回补数据源或使用代理变量 |
| 部分缺失 | 某个特征在部分样本中有值，部分样本中无值（0% < 缺失率 < 100%） | “公积金缴纳月数”在部分用户中为空；征信报告中的“逾期金额”字段 | 需进一步分析缺失机制，选择填充、标记或模型内处理 |
巡检要点：完全缺失特征在数据质量巡检中应被标记为“废弃特征”，并记录缺失原因（如字段下线、源系统变更、映射错误）。部分缺失特征则需进入缺失机制分析流程。
二、按缺失机制分类
缺失机制描述的是数据缺失与变量本身或其他变量之间的关系。这是统计建模和偏差控制的核心分类，直接影响填充方法的选择和模型的无偏性。
| 类型 | 英文缩写 | 定义 | 金融场景示例 | 对模型的影响 |
|---|---|---|---|---|
| 完全随机缺失 | MCAR | 缺失与否完全独立于所有变量（包括自身） | 系统随机抽样失败；网络波动导致部分请求未返回 | 无偏，可直接删除或简单填充 |
| 随机缺失 | MAR | 缺失与否依赖于其他已观测变量，但不依赖于缺失变量本身 | 高收入用户更可能不填写“月支出”字段（收入可观测） | 可基于观测变量校正，使用多重插补或模型预测 |
| 非随机缺失 | MNAR | 缺失与否依赖于缺失变量本身的值 | “逾期金额”字段：未逾期用户该字段为空（缺失与0值相关） | 不可忽略，需引入外部信息或构建缺失指示变量 |
风控警示：非随机缺失（MNAR）在金融数据中极为常见，例如“负债率”字段在负债过高时被刻意隐藏。若直接删除或均值填充，会导致严重的样本选择偏差，使风控模型低估风险。
三、金融场景中的缺失机制识别方法
在实际巡检中，可通过统计检验和业务逻辑推断来识别缺失机制。以下为常用方法：
- 分组缺失率对比（MCAR 检验）：将样本按其他特征分组，计算各组缺失率。若组间缺失率无显著差异（卡方检验 p > 0.05），则倾向于 MCAR。
- 缺失指示变量相关性分析（MAR 识别）：构建缺失指示变量（0/1），计算其与其他观测变量的相关系数。若存在显著相关，则倾向于 MAR。
- 领域知识推断（MNAR 识别）：结合业务逻辑判断。例如“贷款审批结果”字段，被拒样本该字段为空，缺失与“被拒”这一不可观测状态相关，属于 MNAR。
巡检最佳实践：在金融特征巡检报告中，建议对每个部分缺失特征标注其“最可能的缺失机制”，并附上检验统计量或业务依据。这有助于下游建模团队选择合适的处理策略，避免因误判缺失机制导致模型偏差。
四、缺失分类与处理策略对照
| 缺失程度 | 缺失机制 | 推荐处理策略 | 风控场景注意事项 |
|---|---|---|---|
| 完全缺失 | — | 剔除特征；若为关键特征则回补数据源 | 需确认是否为临时性缺失（如数据迁移中） |
| 部分缺失 | MCAR | 均值/中位数填充；或直接删除缺失样本 | 金融数据中较少见，需谨慎验证 |
| 部分缺失 | MAR | 多重插补（MICE）；回归预测填充 | 确保用于预测的观测变量在线上环境也可获取 |
| 部分缺失 | MNAR | 构建缺失指示变量；使用缺失值作为信息 | 缺失本身可能代表风险信号（如隐瞒负债） |
巡检工具提示：在自动化巡检脚本中，可设置缺失机制判定规则：若缺失率 < 5% 且与其他特征无显著相关，默认按 MCAR 处理；若缺失率 > 20% 且与业务强相关特征（如收入、年龄）显著相关，则标记为 MAR 或 MNAR，触发人工复核。