2、特征缺失基础概念:特征缺失的定义、缺失类型(MCAR、MAR、MNAR)、缺失对模型推理的影响

2.1 特征缺失的定义

在金融风控与风险传导场景中,特征缺失(Feature Missing)是指数据集中某个样本的特定特征字段没有记录值或记录值不可用。缺失值在原始数据中通常以 NULL、NaN、None 或占位符(如 -999、Unknown)等形式存在。

关键认知:缺失 ≠ 零值或空字符串。缺失代表该特征在采集、传输或存储环节中丢失了信息,而非特征值为零或空。

在风险传导链路中,特征缺失可能发生在多个环节:

  • 数据采集层:传感器故障、接口超时、用户未填写。
  • 数据清洗层:异常值被剔除后未填充。
  • 特征工程层:衍生计算依赖的原始字段缺失导致结果缺失。
  • 模型推理层:线上服务时特征未及时更新或缓存失效。

2.2 缺失类型:MCAR、MAR、MNAR

根据缺失机制与观测数据之间的关系,统计学家 Rubin(1976)将缺失数据分为三类。理解这三类缺失是选择填充策略和评估模型风险的前提。

缺失类型 全称 定义 金融风控示例 处理难度
MCAR 完全随机缺失 缺失概率与观测数据及未观测数据均无关 数据库随机丢包导致某笔交易金额字段缺失 低
MAR 随机缺失 缺失概率仅与已观测到的其他特征有关 高收入客户更倾向不填写“月支出”字段 中
MNAR 非随机缺失 缺失概率与缺失值本身有关 逾期客户故意隐藏“当前负债率”数据 高
巡检提示:在风险传导场景中,MNAR 是最危险的缺失类型,因为它往往与风险事件本身相关。若直接删除或简单填充 MNAR 特征,会导致模型严重低估风险。
三种缺失机制对比 MCAR 完全随机缺失 缺失与任何数据无关 例:随机丢包 MAR 随机缺失 缺失与已观测特征相关 例:高收入不填支出 MNAR 非随机缺失 缺失与缺失值本身相关 例:逾期者隐藏负债 处理难度递增 MCAR 可直接删除或简单填充;MAR 需利用其他特征建模填充;MNAR 需领域知识或敏感性分析 风险传导场景影响 MNAR 缺失比例越高,模型对尾部风险的估计偏差越大,需在巡检中重点标记

2.3 缺失对模型推理的影响

特征缺失会从多个维度破坏模型推理的准确性与稳定性,尤其在风险传导场景中,缺失可能引发连锁反应:

  1. 样本偏差:直接删除含缺失值的样本会导致训练集与真实分布不一致,MCAR 影响较小,但 MAR/MNAR 会引入系统性偏差。
  2. 特征信息损失:缺失导致模型无法利用该特征进行判别,降低模型区分度(如 KS、AUC 下降)。
  3. 模型结构扭曲:树模型(如 XGBoost、LightGBM)虽然能处理缺失,但分裂方向可能偏向缺失样本占比高的分支,产生过拟合。
  4. 推理路径断裂:在风险传导链路中,上游特征缺失会导致下游衍生特征全部失效,形成“缺失雪崩”。
  5. 线上推理不稳定:线上服务若遇到训练时未出现的缺失模式,模型可能输出异常分数或直接报错。
风险传导特例:当缺失发生在“传导路径”的关键节点特征上(如企业关联交易金额、担保比例),缺失不仅影响当前样本评分,还会导致整个传导链路的风险度量失效。
缺失对模型推理的影响链路 特征缺失 样本偏差 特征信息损失 模型结构扭曲 推理路径断裂(传导雪崩) 线上推理不稳定 巡检目标:在缺失传导至“推理路径断裂”之前,通过巡检机制提前发现并阻断

2.4 缺失类型识别方法

在实际巡检中,可通过以下方法初步判断缺失类型:

  • 缺失模式矩阵:可视化缺失值分布,观察缺失是否集中在特定特征或样本子集。
  • 分组缺失率对比:按目标变量(如是否逾期)分组统计缺失率,若差异显著则可能为 MAR 或 MNAR。
  • Little's MCAR 检验:卡方检验判断缺失是否完全随机,p < 0.05 则拒绝 MCAR 假设。
  • 领域知识辅助:结合业务逻辑判断缺失原因,如“担保人信息缺失”在风险传导中常为 MNAR。
巡检落地建议:在风险传导场景中,建议将缺失类型识别纳入每日巡检流水线。对于标记为 MNAR 的特征,设置更高的告警阈值,并触发人工复核流程。