缺失机制基础:MCAR、MAR、MNAR 的定义与金融场景举例

在金融风控与数据治理中,特征缺失并非随机噪声,其背后往往隐藏着系统性的数据生成逻辑。理解缺失机制是选择填补方法、评估偏差、构建稳健模型的前提。本章从统计学定义出发,结合信贷、反欺诈、交易监控等典型金融场景,逐一拆解三种缺失机制。

一、三种缺失机制的核心定义

缺失机制 英文全称 核心定义 缺失概率与数据的关系
MCAR Missing Completely At Random 缺失完全独立于所有变量(观测值与非观测值) 缺失概率与任何变量无关,纯随机
MAR Missing At Random 缺失仅依赖于已观测到的其他变量,与缺失变量本身的值无关 缺失概率可由观测变量解释
MNAR Missing Not At Random 缺失依赖于缺失变量本身未观测到的值 缺失概率与缺失值本身相关
关键区分点: 判断缺失机制的核心在于“缺失概率是否与缺失变量本身的值有关”。MCAR 完全随机;MAR 由其他观测变量决定;MNAR 由缺失值自身决定。

二、MCAR:完全随机缺失

定义: 数据缺失的概率既不受已观测变量影响,也不受缺失变量本身影响,相当于数据集中随机“挖掉”一部分。

金融场景举例:

  • 系统抽样故障: 某银行风控系统因硬件负载均衡策略,每 1000 笔交易中随机丢弃 1 笔的“设备指纹”字段,与交易金额、用户等级、欺诈标签均无关。
  • 问卷录入失误: 客户申请信用卡时,纸质表单的“职业”字段因扫描仪随机缺页导致 2% 的缺失,与客户资质无关。
  • 日志截断: 日志服务器按固定时间窗口轮转,导致部分历史交易记录的“IP 归属地”字段被均匀截断。
MCAR 在金融中的影响: 虽然 MCAR 不会引入系统性偏差,但会降低样本量,导致统计效力下降。在风控建模中,若缺失比例超过 5%,即使 MCAR 也需要谨慎处理,避免模型因样本减少而低估尾部风险。

三、MAR:随机缺失(可观测依赖)

定义: 缺失概率依赖于其他已观测到的变量,但与缺失变量本身的值无关。这是金融场景中最常见的缺失机制。

金融场景举例:

  • 收入字段缺失(依赖职业类型): 在信贷申请中,“自雇人士”群体的“月均收入”字段缺失率高达 30%,而“受薪雇员”缺失率仅 2%。缺失概率由已观测的“职业类型”决定,与收入本身高低无关。
  • 征信查询次数缺失(依赖申请渠道): 通过“线下中介渠道”提交的申请,其“近 3 个月征信查询次数”缺失率显著高于“线上直营渠道”。缺失由渠道变量解释。
  • 抵押物估值缺失(依赖贷款金额): 对于贷款金额低于 50 万的小额信贷,银行常省略“抵押物第三方估值”字段,而大额贷款则强制录入。缺失概率由已观测的“贷款金额”决定。
MAR 处理警示: 若直接删除 MAR 缺失样本,会导致模型对“自雇人士”或“线下渠道”客群的预测产生偏差。必须利用观测变量(如职业、渠道)进行条件填补或使用多重插补。

四、MNAR:非随机缺失(不可忽略缺失)

定义: 缺失概率与缺失变量本身未观测到的值直接相关。这是最棘手的情况,因为缺失本身携带了信息。

金融场景举例:

  • 逾期金额缺失(高逾期者故意不报): 在贷后管理系统中,逾期金额越高的客户,越倾向于不接听催收电话,导致“客户承诺还款金额”字段缺失。缺失与高逾期值直接相关。
  • 反欺诈标签缺失(欺诈者隐藏行为): 真正的欺诈交易中,欺诈者会刻意清除“设备指纹”或“GPS 定位”字段,导致这些特征在欺诈样本中缺失率远高于正常交易。缺失本身就是欺诈信号。
  • 风险评级缺失(高风险客户拒绝评估): 在私募基金合格投资者认证中,风险承受能力最低的客户往往拒绝填写“投资经验”问卷,导致该字段缺失与低风险承受能力直接关联。
MNAR 在风控中的特殊价值: 对于 MNAR 缺失,缺失模式本身可以作为一个强特征。例如,在反欺诈模型中,将“设备指纹是否缺失”作为二值特征加入模型,往往能显著提升欺诈识别率。

五、三种缺失机制的对比与识别策略

三种缺失机制对比与金融识别策略 MCAR 完全随机缺失 缺失与任何变量无关 例:系统随机丢包 MAR 随机缺失 缺失由观测变量解释 例:自雇人士收入缺失 MNAR 非随机缺失 缺失与缺失值本身相关 例:欺诈者清除设备指纹 金融场景识别策略 策略一:分组缺失率对比 按关键观测变量分组 计算各组缺失率差异 差异显著 → 非 MCAR 策略二:缺失模式与目标关联 检查缺失是否与 逾期/欺诈标签相关 相关 → 警惕 MNAR 策略三:敏感性分析 假设不同缺失机制 评估模型结果稳定性 结果敏感 → 需建模缺失 金融数据治理建议 • MCAR:可直接删除或简单均值填补,但需监控缺失比例 • MAR:必须使用观测变量进行条件填补(如回归插补、多重插补) • MNAR:将缺失模式作为特征,或使用选择模型(Heckman 模型)处理

六、金融场景缺失机制快速判断流程

在实际风控数据巡检中,可按以下步骤快速判断缺失机制归属:

  1. 步骤 1: 计算每个特征的缺失率,标记缺失率 > 5% 的特征。
  2. 步骤 2: 将样本按关键业务变量(渠道、产品类型、客户等级)分组,进行卡方检验或 ANOVA,判断缺失率是否在不同组间存在显著差异。若差异不显著 → 暂按 MCAR 处理。
  3. 步骤 3: 若差异显著,进一步检查缺失是否与目标变量(逾期标签、欺诈标签)相关。若缺失样本的目标变量分布与完整样本无显著差异 → 倾向 MAR;若有显著差异 → 高度怀疑 MNAR。
  4. 步骤 4: 对于怀疑 MNAR 的特征,进行敏感性分析:假设缺失值全部为“好”或全部为“坏”,观察模型 AUC 变化幅度。若变化 > 0.03,则必须将缺失模式纳入模型。
巡检口诀: 分组差异看 MAR,目标关联查 MNAR,无差无关联 MCAR。缺失模式别忽视,风控建模加一维。

七、不同缺失机制下的处理方法选择

缺失机制 推荐处理方法 金融场景注意事项
MCAR 列表删除、均值/中位数填补、简单随机填补 缺失比例 < 5% 时可直接删除;比例较高时建议使用多重插补保留样本量
MAR 回归插补、多重插补(MICE)、KNN 插补 必须包含解释缺失的观测变量;避免使用无条件均值填补,会引入偏差
MNAR 缺失指示变量法、选择模型、模式混合模型 在风控模型中,将“是否缺失”作为二值特征加入,往往比复杂模型更有效
重要提醒: 在金融监管合规要求下,对于 MNAR 缺失,不能简单删除或填补后不披露。需在模型文档中明确说明缺失机制假设及处理方法,以备审计和解释。