2、特征缺失基础概念:特征缺失的定义、缺失类型(MCAR、MAR、MNAR)、缺失对模型推理的影响
2.1 特征缺失的定义
在金融风控与风险传导场景中,特征缺失(Feature Missing)是指数据集中某个样本的特定特征字段没有记录值或记录值不可用。缺失值在原始数据中通常以 NULL、NaN、None 或占位符(如 -999、Unknown)等形式存在。
关键认知:缺失 ≠ 零值或空字符串。缺失代表该特征在采集、传输或存储环节中丢失了信息,而非特征值为零或空。
在风险传导链路中,特征缺失可能发生在多个环节:
- 数据采集层:传感器故障、接口超时、用户未填写。
- 数据清洗层:异常值被剔除后未填充。
- 特征工程层:衍生计算依赖的原始字段缺失导致结果缺失。
- 模型推理层:线上服务时特征未及时更新或缓存失效。
2.2 缺失类型:MCAR、MAR、MNAR
根据缺失机制与观测数据之间的关系,统计学家 Rubin(1976)将缺失数据分为三类。理解这三类缺失是选择填充策略和评估模型风险的前提。
| 缺失类型 | 全称 | 定义 | 金融风控示例 | 处理难度 |
|---|---|---|---|---|
| MCAR | 完全随机缺失 | 缺失概率与观测数据及未观测数据均无关 | 数据库随机丢包导致某笔交易金额字段缺失 | 低 |
| MAR | 随机缺失 | 缺失概率仅与已观测到的其他特征有关 | 高收入客户更倾向不填写“月支出”字段 | 中 |
| MNAR | 非随机缺失 | 缺失概率与缺失值本身有关 | 逾期客户故意隐藏“当前负债率”数据 | 高 |
巡检提示:在风险传导场景中,MNAR 是最危险的缺失类型,因为它往往与风险事件本身相关。若直接删除或简单填充 MNAR 特征,会导致模型严重低估风险。
2.3 缺失对模型推理的影响
特征缺失会从多个维度破坏模型推理的准确性与稳定性,尤其在风险传导场景中,缺失可能引发连锁反应:
- 样本偏差:直接删除含缺失值的样本会导致训练集与真实分布不一致,MCAR 影响较小,但 MAR/MNAR 会引入系统性偏差。
- 特征信息损失:缺失导致模型无法利用该特征进行判别,降低模型区分度(如 KS、AUC 下降)。
- 模型结构扭曲:树模型(如 XGBoost、LightGBM)虽然能处理缺失,但分裂方向可能偏向缺失样本占比高的分支,产生过拟合。
- 推理路径断裂:在风险传导链路中,上游特征缺失会导致下游衍生特征全部失效,形成“缺失雪崩”。
- 线上推理不稳定:线上服务若遇到训练时未出现的缺失模式,模型可能输出异常分数或直接报错。
风险传导特例:当缺失发生在“传导路径”的关键节点特征上(如企业关联交易金额、担保比例),缺失不仅影响当前样本评分,还会导致整个传导链路的风险度量失效。
2.4 缺失类型识别方法
在实际巡检中,可通过以下方法初步判断缺失类型:
- 缺失模式矩阵:可视化缺失值分布,观察缺失是否集中在特定特征或样本子集。
- 分组缺失率对比:按目标变量(如是否逾期)分组统计缺失率,若差异显著则可能为 MAR 或 MNAR。
- Little's MCAR 检验:卡方检验判断缺失是否完全随机,p < 0.05 则拒绝 MCAR 假设。
- 领域知识辅助:结合业务逻辑判断缺失原因,如“担保人信息缺失”在风险传导中常为 MNAR。
巡检落地建议:在风险传导场景中,建议将缺失类型识别纳入每日巡检流水线。对于标记为 MNAR 的特征,设置更高的告警阈值,并触发人工复核流程。