3. 缺失模式分类:MCAR、MAR、MNAR 的定义与金融场景举例
在金融风控与数据治理中,特征缺失并非随机噪声,其背后往往隐藏着业务逻辑、系统偏差或人为干预。理解缺失数据的生成机制,是选择填补方法、评估偏差、构建稳健模型的前提。缺失模式分为三类:完全随机缺失(MCAR)、随机缺失(MAR)、非随机缺失(MNAR)。下表从定义、数学条件、金融场景三个维度进行对比。
| 缺失模式 | 英文缩写 | 核心定义 | 数学条件(简写) | 典型金融场景 |
|---|---|---|---|---|
| 完全随机缺失 | MCAR | 缺失与否完全独立于数据本身(包括观测值和缺失值) | P(M | Xobs, Xmis) = P(M) | 系统随机抽样失败、传输丢包 |
| 随机缺失 | MAR | 缺失与否依赖于已观测到的变量,但与缺失变量本身的值无关 | P(M | Xobs, Xmis) = P(M | Xobs) | 高收入客户更可能不填收入字段 |
| 非随机缺失 | MNAR | 缺失与否依赖于缺失变量本身的值(即使已观测其他变量也无法解释) | P(M | Xobs, Xmis) ≠ P(M | Xobs) | 坏账客户故意隐瞒负债信息 |
数据治理提示: 在金融风控建模中,MCAR 最“安全”,可直接删除或简单填补;MAR 是大多数实际场景,需借助观测变量建模填补;MNAR 最难处理,通常需要领域知识或敏感性分析。
3.1 完全随机缺失(MCAR)
定义: 缺失数据的发生完全是一个随机事件,与任何观测变量或未观测变量均无关。缺失数据是全体数据的一个随机子集。
金融场景举例:
- 系统传输丢包: 某银行在批量采集征信报告时,因网络波动导致 2% 的请求随机失败,缺失的字段(如“信用卡额度”)与客户资质无关。
- 随机抽样调查: 风控部门对存量客户做满意度回访,随机抽取 5% 的客户,这部分客户的“职业信息”字段因未参与调查而缺失。
- 硬件故障: 某台服务器在特定时间段内随机丢失了部分交易日志中的“商户类别码”,故障恢复后缺失模式无规律。
MCAR 的统计检验: 可使用 Little's MCAR 检验。若 p 值 > 0.05,则不能拒绝 MCAR 假设。但需注意,该检验在金融大样本下容易显著,需结合业务判断。
3.2 随机缺失(MAR)
定义: 缺失与否依赖于其他已观测到的变量,但与缺失变量本身的值无关。即,在控制了观测变量后,缺失机制是随机的。
金融场景举例:
- 高收入客户不填收入: 在信用卡申请表中,“年收入”字段的缺失概率与客户已填写的“职业”(如企业主)和“学历”(如硕士)高度相关,但与收入本身的具体数值无关(高收入人群普遍不愿透露)。
- 风控问卷跳转逻辑: 若客户在“是否有房产”中选择“否”,则系统自动跳过“房产估值”字段。此时“房产估值”的缺失完全由已观测的“是否有房产”决定。
- 多头借贷数据: 征信报告中“最近6个月查询次数”缺失,往往与客户“是否授权查询”字段相关,而非与查询次数本身相关。
MAR 的建模陷阱: 若直接删除 MAR 缺失的样本,会导致样本选择偏差。例如,只保留填写了收入的客户,模型会偏向中低收入群体,高收入群体的风险特征被低估。必须使用基于观测变量的多重插补(MI)或极大似然估计(MLE)。
3.3 非随机缺失(MNAR)
定义: 缺失与否依赖于缺失变量本身的值,即使控制了所有已观测变量,缺失机制仍然存在系统性偏差。这是最棘手、最需要业务干预的缺失类型。
金融场景举例:
- 坏账客户隐瞒负债: 在贷后监控中,即将逾期的客户故意不接听电话,导致“近期联系人状态”字段缺失。缺失本身就是因为客户处于高风险状态(逾期),缺失值与风险正相关。
- 高杠杆客户不填资产: 在申请大额经营贷时,负债率极高的企业主故意不填写“其他资产”字段,因为填写后会暴露其偿债能力不足。缺失行为与“资产少”这一事实直接相关。
- 敏感信息规避: 在反洗钱调查中,涉及大额可疑交易的客户往往拒绝提供“资金来源说明”,缺失本身就是可疑信号。
MNAR 的应对方法: ① 敏感性分析(假设不同缺失值分布,观察模型稳定性);② 选择模型(Heckman 两阶段模型);③ 引入外部数据源交叉验证;④ 业务规则强制补录(如人工外呼核实)。在风控建模中,MNAR 特征通常需要单独编码为“缺失标志位”,而非简单填补。
3.4 三类缺失模式的快速判别清单
在实际金融数据治理中,可通过以下清单快速初步判断缺失模式:
| 判别维度 | MCAR 倾向 | MAR 倾向 | MNAR 倾向 |
|---|---|---|---|
| 缺失率与分组 | 各分组缺失率相近 | 缺失率随观测变量变化 | 缺失率与缺失变量本身强相关 |
| 业务可解释性 | 无业务逻辑关联 | 有明确的业务跳转或规避逻辑 | 缺失行为本身就是风险信号 |
| 统计检验 | Little's MCAR 不显著 | Logistic 回归中观测变量显著 | 残差分析显示系统性偏差 |
| 处理优先级 | 低(可直接删除或均值填补) | 中(需建模填补) | 高(需单独编码+敏感性分析) |
实战建议: 在风控特征工程中,建议对所有缺失特征先打上“缺失标志位”(is_missing),然后观察该标志位与目标变量(如逾期标签)的相关性。若相关性显著,则高度怀疑为 MNAR,需单独处理。