缺失值类型与成因:MCAR、MAR、MNAR 定义及风控场景

在风控特征工程中,缺失值并非随机噪声,其背后往往隐藏着数据采集机制、用户行为偏好或系统处理逻辑。理解缺失值的统计分类——完全随机缺失(MCAR)、随机缺失(MAR)、非随机缺失(MNAR)——是设计巡检看板、选择填充策略的第一步。三种类型在风控场景中的含义、检测方法和处理原则截然不同。

1. 三种缺失类型的核心定义与对比

类型 英文缩写 定义 缺失概率与数据本身的关系 风控场景典型特征
完全随机缺失 MCAR 缺失与否完全独立于所有变量(包括自身取值和其他变量) 缺失概率 = 常数,与任何数据无关 系统故障、随机采样、传输丢包
随机缺失 MAR 缺失与否依赖于其他已观测变量,但与自身缺失值无关 缺失概率 = f(其他观测变量) 用户行为分层、渠道差异、设备类型
非随机缺失 MNAR 缺失与否依赖于自身未观测到的真实值 缺失概率 = f(自身缺失值) 用户刻意隐瞒、高风险拒绝、敏感信息
巡检看板设计要点: 看板中必须区分三种缺失类型,因为 MCAR 可直接删除样本,MAR 需用观测变量建模填充,MNAR 则必须引入外部信息或业务规则,否则填充会引入系统性偏差。

2. 完全随机缺失(MCAR)—— 系统层面的“意外”

定义: 缺失事件的发生完全独立于任何变量。数据集中某个字段是否缺失,就像抛硬币一样随机,与用户资质、行为、其他字段取值均无关。

风控场景举例:

  • API 超时: 第三方征信接口在高峰时段偶发超时,导致部分用户的“多头借贷指数”字段缺失。缺失与否只取决于网络瞬时状态,与用户信用无关。
  • 日志截断: 服务器日志轮转时,最后 0.5% 的用户行为记录被截断,导致“近 7 日登录次数”缺失。缺失比例固定,与用户活跃度无关。
  • 随机采样测试: 风控系统 A/B 测试中,对照组 5% 的用户未采集“设备指纹”字段,缺失完全由实验分组决定。
看板检测方法: 对 MCAR 的初步判断可通过“缺失指示变量”与所有其他变量的独立性检验(如 t 检验、卡方检验)。若缺失组与非缺失组在其他特征上无显著差异,则倾向 MCAR。

3. 随机缺失(MAR)—— 行为分层的“痕迹”

定义: 缺失概率依赖于其他已观测到的变量,但与缺失变量自身的真实值无关。这是风控数据中最常见的缺失类型。

风控场景举例:

  • 收入字段缺失: 在申请评分卡中,“年收入”字段的缺失概率与用户“职业类型”(已观测)相关。自由职业者(职业类型=4)的缺失率高达 40%,而公务员(职业类型=1)缺失率仅 5%。缺失与否由职业类型决定,而非收入本身的高低。
  • 联系人信息缺失: 用户“紧急联系人手机号”的缺失概率与“是否已授信”(已观测)相关。已授信用户因已通过审核,填写意愿降低,缺失率上升。缺失由授信状态驱动,而非联系人号码本身。
  • 设备信息缺失: iOS 用户因隐私权限限制,“通讯录数量”字段缺失率显著高于 Android 用户。缺失由设备类型(已观测)决定。
看板处理警示: MAR 场景下,直接删除缺失样本会导致选择偏差。巡检看板应展示“缺失率 vs 关键观测变量”的分层交叉表,辅助建模人员选择正确的填充模型(如回归插补、多重插补)。

4. 非随机缺失(MNAR)—— 风险信号的“黑洞”

定义: 缺失概率与缺失变量自身的真实值直接相关。缺失本身就是一个强风险信号,因为用户或系统在刻意隐藏不利信息。

风控场景举例:

  • 逾期历史隐瞒: 用户申请贷款时,“历史逾期次数”字段缺失。缺失的用户往往真实逾期次数很高(>5 次),他们选择不填写以规避风控拦截。缺失与高逾期值直接相关。
  • 收入证明缺失: 在“税后月收入”字段中,缺失的用户真实收入通常低于当地最低工资标准。用户因无法提供证明而跳过该字段。
  • 黑名单命中: 内部黑名单库查询结果字段缺失,可能是因为查询接口对命中黑名单的用户返回了空值(系统设计缺陷),缺失与“命中黑名单=是”直接关联。
看板应对策略: MNAR 无法通过数据内部信息进行无偏填充。巡检看板必须将 MNAR 字段的“缺失”本身作为一个独立特征(缺失指示变量)加入模型,并配合业务规则(如:收入缺失直接拒绝或要求人工核验)进行处置。

5. 三种缺失类型的关系与风控决策流程

下图展示了从缺失值发现到类型判定,再到最终处理策略的完整决策路径,帮助风控数据分析师在看板中快速定位问题。

缺失值类型判定与风控处理决策流程 发现缺失字段 缺失机制判定(统计检验 + 业务分析) MCAR:完全随机缺失 处理策略: 直接删除 / 均值填充 MAR:随机缺失 处理策略: 回归插补 / 多重插补 MNAR:非随机缺失 处理策略: 缺失作为特征 / 业务规则 输出:缺失特征 + 缺失指示变量

6. 风控场景中三种缺失类型的识别清单

巡检看板应内置以下识别清单,帮助分析师快速对缺失字段进行分类:

检查维度 MCAR 倾向 MAR 倾向 MNAR 倾向
缺失率与时间关系 与时间无关,全天均匀 与业务高峰/低谷相关 与特定事件(如逾期)相关
缺失率与用户分层 各分层缺失率一致 不同分层差异显著 高风险分层缺失率极高
缺失率与渠道来源 各渠道一致 特定渠道偏高 线下渠道(人工录入)偏高
缺失字段的业务含义 非敏感、非核心字段 中等敏感字段 强敏感、强风险字段
缺失后能否通过其他字段预测 不能,无规律 能,可用其他字段建模 不能,缺失本身就是信息
看板自动化建议: 在巡检看板中,对每个缺失字段自动计算“缺失率 vs 关键分层变量”的卡方统计量,并标记 p 值。当 p < 0.05 时,提示该字段可能为 MAR 或 MNAR,需进一步人工复核。