3. 缺失模式分类:MCAR、MAR、MNAR 的定义与金融场景举例

在金融风控与数据治理中,特征缺失并非随机噪声,其背后往往隐藏着业务逻辑、系统偏差或人为干预。理解缺失数据的生成机制,是选择填补方法、评估偏差、构建稳健模型的前提。缺失模式分为三类:完全随机缺失(MCAR)、随机缺失(MAR)、非随机缺失(MNAR)。下表从定义、数学条件、金融场景三个维度进行对比。

缺失模式 英文缩写 核心定义 数学条件(简写) 典型金融场景
完全随机缺失 MCAR 缺失与否完全独立于数据本身(包括观测值和缺失值) P(M | Xobs, Xmis) = P(M) 系统随机抽样失败、传输丢包
随机缺失 MAR 缺失与否依赖于已观测到的变量,但与缺失变量本身的值无关 P(M | Xobs, Xmis) = P(M | Xobs) 高收入客户更可能不填收入字段
非随机缺失 MNAR 缺失与否依赖于缺失变量本身的值(即使已观测其他变量也无法解释) P(M | Xobs, Xmis) ≠ P(M | Xobs) 坏账客户故意隐瞒负债信息
数据治理提示: 在金融风控建模中,MCAR 最“安全”,可直接删除或简单填补;MAR 是大多数实际场景,需借助观测变量建模填补;MNAR 最难处理,通常需要领域知识或敏感性分析。

3.1 完全随机缺失(MCAR)

定义: 缺失数据的发生完全是一个随机事件,与任何观测变量或未观测变量均无关。缺失数据是全体数据的一个随机子集。

金融场景举例:

  • 系统传输丢包: 某银行在批量采集征信报告时,因网络波动导致 2% 的请求随机失败,缺失的字段(如“信用卡额度”)与客户资质无关。
  • 随机抽样调查: 风控部门对存量客户做满意度回访,随机抽取 5% 的客户,这部分客户的“职业信息”字段因未参与调查而缺失。
  • 硬件故障: 某台服务器在特定时间段内随机丢失了部分交易日志中的“商户类别码”,故障恢复后缺失模式无规律。
MCAR 的统计检验: 可使用 Little's MCAR 检验。若 p 值 > 0.05,则不能拒绝 MCAR 假设。但需注意,该检验在金融大样本下容易显著,需结合业务判断。
MCAR 缺失机制:缺失与数据值完全独立 完整数据池 (所有特征值已知) 样本量:N 随机抽取 P(缺失)=常数 缺失数据子集 缺失字段随机分布 与客户资质无关 例:网络丢包导致的征信字段缺失,与客户好坏无关

3.2 随机缺失(MAR)

定义: 缺失与否依赖于其他已观测到的变量,但与缺失变量本身的值无关。即,在控制了观测变量后,缺失机制是随机的。

金融场景举例:

  • 高收入客户不填收入: 在信用卡申请表中,“年收入”字段的缺失概率与客户已填写的“职业”(如企业主)和“学历”(如硕士)高度相关,但与收入本身的具体数值无关(高收入人群普遍不愿透露)。
  • 风控问卷跳转逻辑: 若客户在“是否有房产”中选择“否”,则系统自动跳过“房产估值”字段。此时“房产估值”的缺失完全由已观测的“是否有房产”决定。
  • 多头借贷数据: 征信报告中“最近6个月查询次数”缺失,往往与客户“是否授权查询”字段相关,而非与查询次数本身相关。
MAR 的建模陷阱: 若直接删除 MAR 缺失的样本,会导致样本选择偏差。例如,只保留填写了收入的客户,模型会偏向中低收入群体,高收入群体的风险特征被低估。必须使用基于观测变量的多重插补(MI)或极大似然估计(MLE)。
MAR 缺失机制:缺失依赖于已观测变量 已观测变量 (职业、学历、年龄) 决定缺失概率 缺失变量 (年收入) 缺失值 (未知) 无关 例:高收入客户(职业=企业主)更可能不填“年收入” 缺失概率由“职业”决定,与收入具体数值无关 MAR 处理策略:利用观测变量建模填补 多重插补(MI)| 极大似然估计(MLE)| 回归填补

3.3 非随机缺失(MNAR)

定义: 缺失与否依赖于缺失变量本身的值,即使控制了所有已观测变量,缺失机制仍然存在系统性偏差。这是最棘手、最需要业务干预的缺失类型。

金融场景举例:

  • 坏账客户隐瞒负债: 在贷后监控中,即将逾期的客户故意不接听电话,导致“近期联系人状态”字段缺失。缺失本身就是因为客户处于高风险状态(逾期),缺失值与风险正相关。
  • 高杠杆客户不填资产: 在申请大额经营贷时,负债率极高的企业主故意不填写“其他资产”字段,因为填写后会暴露其偿债能力不足。缺失行为与“资产少”这一事实直接相关。
  • 敏感信息规避: 在反洗钱调查中,涉及大额可疑交易的客户往往拒绝提供“资金来源说明”,缺失本身就是可疑信号。
MNAR 的应对方法: ① 敏感性分析(假设不同缺失值分布,观察模型稳定性);② 选择模型(Heckman 两阶段模型);③ 引入外部数据源交叉验证;④ 业务规则强制补录(如人工外呼核实)。在风控建模中,MNAR 特征通常需要单独编码为“缺失标志位”,而非简单填补。
MNAR 缺失机制:缺失由缺失变量本身的值驱动 真实值分布(不可见) 低风险客户:值正常 高风险客户:值异常 (如负债率极高) 直接决定 观测到的缺失模式 低风险客户:大概率填写 高风险客户:故意缺失 (缺失=风险信号) 例:逾期客户故意不接电话 → “联系人状态”缺失 → 缺失本身就是坏账信号

3.4 三类缺失模式的快速判别清单

在实际金融数据治理中,可通过以下清单快速初步判断缺失模式:

判别维度 MCAR 倾向 MAR 倾向 MNAR 倾向
缺失率与分组 各分组缺失率相近 缺失率随观测变量变化 缺失率与缺失变量本身强相关
业务可解释性 无业务逻辑关联 有明确的业务跳转或规避逻辑 缺失行为本身就是风险信号
统计检验 Little's MCAR 不显著 Logistic 回归中观测变量显著 残差分析显示系统性偏差
处理优先级 低(可直接删除或均值填补) 中(需建模填补) 高(需单独编码+敏感性分析)
实战建议: 在风控特征工程中,建议对所有缺失特征先打上“缺失标志位”(is_missing),然后观察该标志位与目标变量(如逾期标签)的相关性。若相关性显著,则高度怀疑为 MNAR,需单独处理。