2. 缺失机制分类:MCAR、MAR、MNAR 的定义与风控实例

在风控建模中,特征缺失并非随机事件。缺失数据的产生机制直接影响缺失值处理策略的选择。若处理不当,轻则降低模型区分度,重则引入系统性偏差,导致风控决策失效。本节从统计学定义出发,结合信贷风控场景,详细解析三种缺失机制。

2.1 三种缺失机制的核心定义

缺失机制由缺失数据与观测数据、未观测数据之间的依赖关系决定。下表从数学定义、依赖关系、可忽略性三个维度进行对比:

缺失机制 数学定义 缺失依赖关系 建模可忽略性
完全随机缺失 (MCAR) P(M | X_obs, X_mis) = P(M) 缺失与所有数据(观测值、缺失值)均无关 可忽略(无偏)
随机缺失 (MAR) P(M | X_obs, X_mis) = P(M | X_obs) 缺失仅依赖于已观测到的变量 可忽略(条件无偏)
非随机缺失 (MNAR) P(M | X_obs, X_mis) = P(M | X_obs, X_mis) 缺失依赖于未观测到的变量本身 不可忽略(有偏)
关键区分点: 判断缺失机制的核心在于——缺失概率是否与缺失值本身的大小有关。若有关,则为 MNAR;若仅与已观测变量有关,则为 MAR;若完全随机,则为 MCAR。

2.2 三种机制的内联 SVG 结构图

下图通过节点与箭头关系,直观展示三种缺失机制中“缺失指示变量 M”与“观测数据 X_obs”、“缺失数据 X_mis”之间的依赖路径:

三种缺失机制依赖关系对比 MCAR X_obs(观测数据) 收入、年龄、负债 X_mis(缺失数据) 征信分、流水 M(缺失指示) 随机硬币 MAR X_obs(观测数据) 收入、年龄、负债 X_mis(缺失数据) 征信分、流水 M(缺失指示) 依赖 X_obs 依赖 MNAR X_obs(观测数据) 收入、年龄、负债 X_mis(缺失数据) 征信分、流水 M(缺失指示) 依赖 X_mis 依赖 MCAR:M 与 X_obs、X_mis 均独立;MAR:M 仅依赖 X_obs;MNAR:M 依赖 X_mis 本身

2.3 风控实例:缺失机制在信贷场景中的具体表现

以下通过三个典型风控场景,说明不同缺失机制如何在实际数据中产生:

2.3.1 MCAR 实例:系统随机抽样导致的征信分缺失

  • 场景描述: 某平台因征信接口限流,随机对 5% 的申请用户跳过征信查询。被跳过的用户与未被跳过的用户在收入、年龄、负债等所有维度上无显著差异。
  • 缺失机制: 征信分缺失完全由外部随机策略决定,与用户自身资质无关,属于 MCAR。
  • 风控影响: 缺失样本是总体的无偏子集。直接删除缺失样本不会引入偏差,但会损失样本量,降低统计功效。
  • 处理建议: 可直接删除或使用均值/中位数填充,不会产生系统性偏差。

2.3.2 MAR 实例:高收入群体更易缺失“工资流水”字段

  • 场景描述: 在收入自证环节,高收入用户(年收入 > 50 万)更倾向于提供纳税证明而非工资流水,导致“工资流水”字段在高收入组中缺失率高达 40%,而在低收入组中缺失率仅为 5%。
  • 缺失机制: 缺失概率依赖于已观测到的“收入等级”变量,而与未观测到的工资流水具体金额无关,属于 MAR。
  • 风控影响: 若直接删除缺失样本,会系统性剔除高收入群体,导致模型对高收入客群的预测能力下降。
  • 处理建议: 可利用收入等级、职业等观测变量建立缺失预测模型(如逻辑回归),进行条件填充或多重插补。

2.3.3 MNAR 实例:逾期用户刻意隐瞒“当前逾期金额”

  • 场景描述: 在贷后监控中,已发生逾期的用户倾向于不更新“当前逾期金额”字段,导致该字段缺失。逾期金额越高,用户隐瞒的动机越强,缺失概率越大。
  • 缺失机制: 缺失概率直接依赖于缺失值本身(逾期金额的大小),属于 MNAR。
  • 风控影响: 这是最危险的情况。缺失数据并非随机,缺失本身就是一个强风险信号。若直接填充为 0 或均值,会严重低估风险。
  • 处理建议: 需将“是否缺失”作为独立特征加入模型,或使用选择模型(Heckman 模型)进行偏差校正。
⚠️ 实战警示: 在风控建模中,MNAR 是最常见也最容易被忽视的缺失机制。许多风控特征(如征信查询次数、多头借贷数、逾期天数)的缺失往往与用户风险水平直接相关。将缺失值简单填充为 0 或均值,会导致模型严重低估高风险客群的违约概率。

2.4 三种缺失机制的风控影响对比

对比维度 MCAR MAR MNAR
缺失是否携带风险信息 否 间接携带(通过观测变量) 直接携带(缺失本身是风险信号)
删除缺失样本的影响 无偏,仅损失样本量 有偏,会改变样本分布 严重有偏,丢失关键风险信息
简单填充(均值/中位数) 可行,无偏估计 有偏,需条件填充 不可行,必须建模缺失指示
风控场景举例 随机抽样缺失 高收入组缺失流水 逾期用户隐瞒逾期金额
推荐处理策略 删除或简单填充 多重插补 / 模型填充 缺失指示特征 + 选择模型

2.5 如何在实际数据中初步判断缺失机制

虽然严格区分三种机制需要领域知识或敏感性分析,但以下步骤可帮助风控建模者快速形成初步判断:

  1. 分组缺失率对比: 将样本按目标变量(如是否逾期)或关键观测变量(如收入等级)分组,计算各组的缺失率。若缺失率在组间差异显著,则倾向于 非 MCAR。
  2. 缺失组与非缺失组的特征分布对比: 对每个特征,比较缺失组与非缺失组在其他可观测特征上的均值/分布。若存在显著差异,则倾向于 MAR 或 MNAR。
  3. 领域知识判断: 结合业务逻辑判断缺失原因。例如,征信分缺失是否与用户主动授权行为有关?逾期金额缺失是否与用户还款意愿有关?若缺失原因与缺失值本身强相关,则高度怀疑 MNAR。
  4. 敏感性分析: 对缺失值进行不同假设(如填充极端值),观察模型性能变化。若填充极端值后模型 AUC 显著提升,说明缺失本身携带风险信息,倾向于 MNAR。
💡 实战技巧: 在风控建模初期,建议对所有缺失率超过 5% 的特征,都生成一个“是否缺失”的二元指示特征。即使缺失机制是 MCAR 或 MAR,这个指示特征有时也能捕捉到意外的非线性信号,且不会引入偏差。这是风控建模中“宁可多做一个特征,不可漏掉一个信号”的实用原则。

2.6 本节小结

  • MCAR:缺失完全随机,处理最简单,但风控场景中较少见。
  • MAR:缺失依赖于已观测变量,可通过观测变量进行条件填充,是风控中最常见的可处理缺失类型。
  • MNAR:缺失依赖于缺失值本身,缺失即信号,必须将缺失指示作为特征纳入模型,否则会引入严重偏差。
  • 在实际风控建模中,MNAR 的识别与处理是区分初级建模师与资深建模师的关键能力之一。