缺失值基础:金融数据中缺失值的类型(MCAR、MAR、MNAR)及其业务含义

在金融风控建模中,缺失值并非简单的“数据空白”,其背后往往隐藏着特定的业务逻辑与样本选择机制。理解缺失值的产生类型,是决定后续填充策略、模型偏差评估以及特征稳定性分析的前提。根据缺失机制与观测数据的关系,缺失值可分为三类:完全随机缺失(MCAR)、随机缺失(MAR) 和 非随机缺失(MNAR)。

三类缺失机制的核心定义与对比

缺失类型 英文全称 核心定义 缺失概率是否依赖数据 金融业务典型场景
MCAR Missing Completely At Random 缺失与否完全独立于观测数据和未观测数据 不依赖任何变量 系统随机抽样失败、传输丢包、录入员随机遗漏
MAR Missing At Random 缺失概率仅依赖于已观测到的其他变量,与缺失变量本身的值无关 依赖其他已观测变量 高收入群体更可能不填写收入;年轻用户更可能缺失工作年限
MNAR Missing Not At Random 缺失概率与缺失变量本身的值直接相关 依赖缺失变量自身 逾期用户故意不填写联系方式;高风险客户拒绝提供资产证明
关键认知: 在金融风控场景中,MNAR 是最危险且最常见的缺失类型,因为它直接与目标变量(如违约风险)相关,若处理不当会引入严重的样本选择偏差,导致模型在真实场景中失效。

MCAR:完全随机缺失

MCAR 是最理想的缺失场景,缺失数据可视为从完整数据集中随机删除的子集。此时,观测到的样本仍然是无偏的,可以直接删除缺失样本或使用简单均值填充,不会引入系统性偏差。

  • 业务含义: 缺失行为与客户风险无关,通常由技术故障或操作失误引起。
  • 风控影响: 对模型参数估计影响最小,但会降低有效样本量,影响统计功效。
  • 检验方法: 可通过分组比较(如缺失组 vs 完整组在其他变量上的均值差异)进行 Little's MCAR 检验。

MAR:随机缺失

MAR 是实际业务中最常见的假设。缺失概率可由其他已观测变量解释。例如,在信贷申请数据中,“工作年限”字段缺失的概率可能与“年龄”和“学历”相关——年轻或低学历申请人更倾向于跳过该字段,但缺失与否与申请人实际的工作年限长短无关。

  • 业务含义: 缺失模式反映了客户群体的行为特征,可通过其他特征进行建模预测。
  • 风控影响: 若忽略 MAR 结构直接删除,会导致有偏估计;但若使用基于似然的方法(如 EM 算法、多重插补)或包含辅助变量的模型,可得到无偏估计。
  • 处理策略: 利用逻辑回归或随机森林构建缺失指示变量,或使用 MICE(链式方程多重插补)进行填充。

MNAR:非随机缺失

MNAR 是最棘手的情况,缺失本身携带了信息。例如,在贷后监控中,“联系人电话”字段缺失——失联客户往往处于逾期状态,缺失直接与违约风险正相关。此时,缺失值本身就是强特征。

  • 业务含义: 缺失行为是客户风险状态的“信号”,缺失即信息。
  • 风控影响: 直接删除或简单填充都会严重扭曲模型,必须引入缺失指示变量或使用选择模型(Heckman 模型)进行校正。
  • 处理策略: 将缺失单独编码为一个类别(如 -999 或 “Unknown”),或构建缺失标志位作为独立特征加入模型。
⚠️ 实战避坑: 在金融特征缺失巡检中,切勿默认所有缺失都是 MCAR。建议在缺失率 > 5% 的特征上,先计算缺失组与完整组在目标变量(如逾期标签)上的均值差异。若差异显著(t 检验 p < 0.05),则高度怀疑为 MNAR,必须保留缺失指示变量。

三类缺失机制的业务决策树

金融缺失类型业务决策树 缺失值出现 缺失与目标变量无关? 缺失与目标变量相关? MCAR 系统随机缺失 MAR 可由其他特征解释 MNAR 缺失即风险信号 MNAR-强相关 直接与违约挂钩 不同缺失类型的推荐处理策略 • MCAR:直接删除缺失样本(若样本量充足)或均值/中位数填充 • MAR:使用多重插补(MICE)、EM算法或包含辅助变量的回归填充 • MNAR:必须保留缺失指示变量(Missing Flag),将缺失作为独立类别编码 • 通用原则:缺失率 > 30% 时,优先考虑删除特征;5%~30% 时,按类型选择填充策略

金融风控中的缺失类型识别流程

在实际项目中,可通过以下步骤快速判断缺失类型,并制定相应的治理策略:

  1. 计算缺失率与目标变量分布: 将样本按“是否缺失”分组,比较两组在逾期标签上的均值差异。
  2. 相关性分析: 计算缺失指示变量与其他已观测特征(如年龄、收入、负债比)的相关系数。
  3. 逻辑回归检验: 以缺失指示变量为因变量,其他完整特征为自变量构建逻辑回归模型。若模型显著(AUC > 0.7),则拒绝 MCAR 假设,倾向于 MAR 或 MNAR。
  4. 领域知识验证: 结合业务逻辑判断缺失是否与客户风险直接相关(如失联、拒绝提供信息),确认是否为 MNAR。
💡 实战建议: 在 PSI(群体稳定性指标)巡检中,若某特征的缺失率在两个时间窗口之间发生剧烈变化(如从 5% 跳升至 25%),且缺失率变化与目标变量分布变化同步,则极有可能是 MNAR 导致的样本结构漂移。此时,缺失率本身应作为 PSI 监控的辅助指标。

缺失类型对 PSI 稳定性的影响

缺失类型 对特征分布稳定性的影响 PSI 监控建议
MCAR 缺失随机分布,不影响特征整体分布形态 可直接计算 PSI,无需特殊处理
MAR 缺失模式随其他特征变化,可能导致分位数偏移 建议分群(如按年龄分层)后分别计算 PSI
MNAR 缺失率变化直接反映风险分布漂移,PSI 可能被低估 必须将缺失率作为独立维度纳入 PSI 监控体系