缺失值产生机制：MCAR、MAR、MNAR 原理与风控案例

在风控数据质量治理中，缺失值并非随机噪声，其背后往往隐藏着特定的数据生成逻辑。理解缺失值的产生机制，是选择正确填充策略、避免模型偏差的前提。本节将系统讲解三种缺失机制：完全随机缺失（MCAR）、随机缺失（MAR）和非随机缺失（MNAR），并结合风控场景给出典型案例。

三种缺失机制的核心定义

MCAR：完全随机缺失

原理： 数据缺失完全是一个随机事件，与任何已知或未知的特征无关。缺失数据可以看作是完整数据集的一个简单随机子样本。

风控案例：

• 系统故障： 某风控系统在 2024-03-15 14:00–14:05 期间因网络抖动，随机丢失了 0.3% 的申请记录中的“征信查询次数”字段。该故障与客户资质、申请时间（除该5分钟外）均无关。
• 传输丢包： 第三方数据源在接口调用时，因网络拥塞随机丢弃了约 0.1% 的数据包，导致部分客户的“社保缴纳月数”字段缺失。

处理策略： 由于 MCAR 不会引入系统性偏差，可以直接删除缺失样本（若缺失率低），或使用均值/中位数填充。但风控场景中，MCAR 实际占比通常不足 5%。

MAR：随机缺失

原理： 缺失概率依赖于其他已观测到的变量，但与缺失变量本身的值无关。例如，高收入群体更倾向于完整填写收入信息，而低收入群体可能因隐私顾虑而跳过该字段。

风控案例：

• 年龄与收入缺失： 在信贷申请数据中，年龄字段完整，但“月收入”字段缺失。分析发现，年龄 < 25 岁的申请人中，收入缺失率为 12%；年龄 ≥ 25 岁的申请人中，收入缺失率仅为 3%。缺失概率依赖于已观测的“年龄”变量，但与申请人真实的收入水平无关。
• 学历与职业信息： 学历为“高中及以下”的申请人，其“单位性质”字段缺失率（18%）显著高于学历为“本科及以上”的申请人（5%）。缺失概率依赖于已观测的“学历”变量。

处理策略： 不能简单删除，否则会引入选择偏差。应使用基于已观测变量的模型进行填充，如回归插补、多重插补（MICE）或基于决策树的填充方法。

MNAR：非随机缺失

原理： 缺失概率直接依赖于缺失变量本身的值。这是最复杂、最难处理的缺失机制，因为缺失本身携带了信息。

风控案例：

• 逾期天数缺失： 在贷后管理数据中，部分客户的“当前逾期天数”字段缺失。进一步分析发现，缺失的客户实际上已经逾期超过 90 天（处于核销流程中），系统因状态异常未正常记录该字段。缺失与否直接由“逾期天数”本身的值决定。
• 收入隐瞒： 高风险客户（真实收入极低或不稳定）更倾向于不填写“月收入”字段，以避免被拒贷。缺失概率与收入水平本身呈负相关。
• 征信查询次数： 多头借贷严重的客户（征信查询次数极高），其部分征信报告可能因机构限制而无法完整获取，导致“近3个月查询次数”字段缺失。

三种机制在风控中的识别与应对

实际风控数据中，三种机制往往混合存在。以下表格总结了识别方法和应对策略：

缺失机制与风控模型偏差的关系

Python 实战：模拟三种缺失机制

以下代码演示如何在风控模拟数据中生成 MCAR、MAR 和 MNAR 三种缺失模式，帮助理解其生成逻辑：

import pandas as pd
import numpy as np

# 生成模拟风控数据
np.random.seed(42)
n = 10000
data = pd.DataFrame({
    'age': np.random.randint(22, 60, n),
    'income': np.random.normal(15000, 5000, n).clip(3000, 50000),
    'credit_score': np.random.randint(300, 850, n),
    'overdue_days': np.random.poisson(5, n)  # 逾期天数
})

# 1. MCAR：完全随机缺失（系统故障）
data_mcar = data.copy()
mask_mcar = np.random.random(n) < 0.05  # 5% 随机缺失
data_mcar.loc[mask_mcar, 'credit_score'] = np.nan

# 2. MAR：随机缺失（缺失依赖于年龄）
data_mar = data.copy()
# 年龄 < 30 的申请人，收入缺失概率 15%；年龄 ≥ 30 的，缺失概率 3%
prob_mar = np.where(data_mar['age'] < 30, 0.15, 0.03)
mask_mar = np.random.random(n) < prob_mar
data_mar.loc[mask_mar, 'income'] = np.nan

# 3. MNAR：非随机缺失（缺失依赖于逾期天数本身）
data_mnar = data.copy()
# 逾期天数 > 10 的客户，缺失概率 80%；否则 2%
prob_mnar = np.where(data_mnar['overdue_days'] > 10, 0.80, 0.02)
mask_mnar = np.random.random(n) < prob_mnar
data_mnar.loc[mask_mnar, 'overdue_days'] = np.nan

# 验证缺失率
print(f"MCAR - credit_score 缺失率: {data_mcar['credit_score'].isna().mean():.2%}")
print(f"MAR  - income 缺失率: {data_mar['income'].isna().mean():.2%}")
print(f"MNAR - overdue_days 缺失率: {data_mnar['overdue_days'].isna().mean():.2%}")

风控场景中的缺失机制诊断流程

总结：风控缺失机制选择矩阵