2. 缺失机制分类:MCAR、MAR、MNAR 的定义与风控实例
在风控建模中,特征缺失并非随机事件。缺失数据的产生机制直接影响缺失值处理策略的选择。若处理不当,轻则降低模型区分度,重则引入系统性偏差,导致风控决策失效。本节从统计学定义出发,结合信贷风控场景,详细解析三种缺失机制。
2.1 三种缺失机制的核心定义
缺失机制由缺失数据与观测数据、未观测数据之间的依赖关系决定。下表从数学定义、依赖关系、可忽略性三个维度进行对比:
| 缺失机制 | 数学定义 | 缺失依赖关系 | 建模可忽略性 |
|---|---|---|---|
| 完全随机缺失 (MCAR) | P(M | X_obs, X_mis) = P(M) | 缺失与所有数据(观测值、缺失值)均无关 | 可忽略(无偏) |
| 随机缺失 (MAR) | P(M | X_obs, X_mis) = P(M | X_obs) | 缺失仅依赖于已观测到的变量 | 可忽略(条件无偏) |
| 非随机缺失 (MNAR) | P(M | X_obs, X_mis) = P(M | X_obs, X_mis) | 缺失依赖于未观测到的变量本身 | 不可忽略(有偏) |
关键区分点: 判断缺失机制的核心在于——缺失概率是否与缺失值本身的大小有关。若有关,则为 MNAR;若仅与已观测变量有关,则为 MAR;若完全随机,则为 MCAR。
2.2 三种机制的内联 SVG 结构图
下图通过节点与箭头关系,直观展示三种缺失机制中“缺失指示变量 M”与“观测数据 X_obs”、“缺失数据 X_mis”之间的依赖路径:
2.3 风控实例:缺失机制在信贷场景中的具体表现
以下通过三个典型风控场景,说明不同缺失机制如何在实际数据中产生:
2.3.1 MCAR 实例:系统随机抽样导致的征信分缺失
- 场景描述: 某平台因征信接口限流,随机对 5% 的申请用户跳过征信查询。被跳过的用户与未被跳过的用户在收入、年龄、负债等所有维度上无显著差异。
- 缺失机制: 征信分缺失完全由外部随机策略决定,与用户自身资质无关,属于 MCAR。
- 风控影响: 缺失样本是总体的无偏子集。直接删除缺失样本不会引入偏差,但会损失样本量,降低统计功效。
- 处理建议: 可直接删除或使用均值/中位数填充,不会产生系统性偏差。
2.3.2 MAR 实例:高收入群体更易缺失“工资流水”字段
- 场景描述: 在收入自证环节,高收入用户(年收入 > 50 万)更倾向于提供纳税证明而非工资流水,导致“工资流水”字段在高收入组中缺失率高达 40%,而在低收入组中缺失率仅为 5%。
- 缺失机制: 缺失概率依赖于已观测到的“收入等级”变量,而与未观测到的工资流水具体金额无关,属于 MAR。
- 风控影响: 若直接删除缺失样本,会系统性剔除高收入群体,导致模型对高收入客群的预测能力下降。
- 处理建议: 可利用收入等级、职业等观测变量建立缺失预测模型(如逻辑回归),进行条件填充或多重插补。
2.3.3 MNAR 实例:逾期用户刻意隐瞒“当前逾期金额”
- 场景描述: 在贷后监控中,已发生逾期的用户倾向于不更新“当前逾期金额”字段,导致该字段缺失。逾期金额越高,用户隐瞒的动机越强,缺失概率越大。
- 缺失机制: 缺失概率直接依赖于缺失值本身(逾期金额的大小),属于 MNAR。
- 风控影响: 这是最危险的情况。缺失数据并非随机,缺失本身就是一个强风险信号。若直接填充为 0 或均值,会严重低估风险。
- 处理建议: 需将“是否缺失”作为独立特征加入模型,或使用选择模型(Heckman 模型)进行偏差校正。
⚠️ 实战警示: 在风控建模中,MNAR 是最常见也最容易被忽视的缺失机制。许多风控特征(如征信查询次数、多头借贷数、逾期天数)的缺失往往与用户风险水平直接相关。将缺失值简单填充为 0 或均值,会导致模型严重低估高风险客群的违约概率。
2.4 三种缺失机制的风控影响对比
| 对比维度 | MCAR | MAR | MNAR |
|---|---|---|---|
| 缺失是否携带风险信息 | 否 | 间接携带(通过观测变量) | 直接携带(缺失本身是风险信号) |
| 删除缺失样本的影响 | 无偏,仅损失样本量 | 有偏,会改变样本分布 | 严重有偏,丢失关键风险信息 |
| 简单填充(均值/中位数) | 可行,无偏估计 | 有偏,需条件填充 | 不可行,必须建模缺失指示 |
| 风控场景举例 | 随机抽样缺失 | 高收入组缺失流水 | 逾期用户隐瞒逾期金额 |
| 推荐处理策略 | 删除或简单填充 | 多重插补 / 模型填充 | 缺失指示特征 + 选择模型 |
2.5 如何在实际数据中初步判断缺失机制
虽然严格区分三种机制需要领域知识或敏感性分析,但以下步骤可帮助风控建模者快速形成初步判断:
- 分组缺失率对比: 将样本按目标变量(如是否逾期)或关键观测变量(如收入等级)分组,计算各组的缺失率。若缺失率在组间差异显著,则倾向于 非 MCAR。
- 缺失组与非缺失组的特征分布对比: 对每个特征,比较缺失组与非缺失组在其他可观测特征上的均值/分布。若存在显著差异,则倾向于 MAR 或 MNAR。
- 领域知识判断: 结合业务逻辑判断缺失原因。例如,征信分缺失是否与用户主动授权行为有关?逾期金额缺失是否与用户还款意愿有关?若缺失原因与缺失值本身强相关,则高度怀疑 MNAR。
- 敏感性分析: 对缺失值进行不同假设(如填充极端值),观察模型性能变化。若填充极端值后模型 AUC 显著提升,说明缺失本身携带风险信息,倾向于 MNAR。
💡 实战技巧: 在风控建模初期,建议对所有缺失率超过 5% 的特征,都生成一个“是否缺失”的二元指示特征。即使缺失机制是 MCAR 或 MAR,这个指示特征有时也能捕捉到意外的非线性信号,且不会引入偏差。这是风控建模中“宁可多做一个特征,不可漏掉一个信号”的实用原则。
2.6 本节小结
- MCAR:缺失完全随机,处理最简单,但风控场景中较少见。
- MAR:缺失依赖于已观测变量,可通过观测变量进行条件填充,是风控中最常见的可处理缺失类型。
- MNAR:缺失依赖于缺失值本身,缺失即信号,必须将缺失指示作为特征纳入模型,否则会引入严重偏差。
- 在实际风控建模中,MNAR 的识别与处理是区分初级建模师与资深建模师的关键能力之一。