缺失值类型与成因:MCAR、MAR、MNAR 定义及风控场景
在风控特征工程中,缺失值并非随机噪声,其背后往往隐藏着数据采集机制、用户行为偏好或系统处理逻辑。理解缺失值的统计分类——完全随机缺失(MCAR)、随机缺失(MAR)、非随机缺失(MNAR)——是设计巡检看板、选择填充策略的第一步。三种类型在风控场景中的含义、检测方法和处理原则截然不同。
1. 三种缺失类型的核心定义与对比
| 类型 | 英文缩写 | 定义 | 缺失概率与数据本身的关系 | 风控场景典型特征 |
|---|---|---|---|---|
| 完全随机缺失 | MCAR | 缺失与否完全独立于所有变量(包括自身取值和其他变量) | 缺失概率 = 常数,与任何数据无关 | 系统故障、随机采样、传输丢包 |
| 随机缺失 | MAR | 缺失与否依赖于其他已观测变量,但与自身缺失值无关 | 缺失概率 = f(其他观测变量) | 用户行为分层、渠道差异、设备类型 |
| 非随机缺失 | MNAR | 缺失与否依赖于自身未观测到的真实值 | 缺失概率 = f(自身缺失值) | 用户刻意隐瞒、高风险拒绝、敏感信息 |
巡检看板设计要点: 看板中必须区分三种缺失类型,因为 MCAR 可直接删除样本,MAR 需用观测变量建模填充,MNAR 则必须引入外部信息或业务规则,否则填充会引入系统性偏差。
2. 完全随机缺失(MCAR)—— 系统层面的“意外”
定义: 缺失事件的发生完全独立于任何变量。数据集中某个字段是否缺失,就像抛硬币一样随机,与用户资质、行为、其他字段取值均无关。
风控场景举例:
- API 超时: 第三方征信接口在高峰时段偶发超时,导致部分用户的“多头借贷指数”字段缺失。缺失与否只取决于网络瞬时状态,与用户信用无关。
- 日志截断: 服务器日志轮转时,最后 0.5% 的用户行为记录被截断,导致“近 7 日登录次数”缺失。缺失比例固定,与用户活跃度无关。
- 随机采样测试: 风控系统 A/B 测试中,对照组 5% 的用户未采集“设备指纹”字段,缺失完全由实验分组决定。
看板检测方法: 对 MCAR 的初步判断可通过“缺失指示变量”与所有其他变量的独立性检验(如 t 检验、卡方检验)。若缺失组与非缺失组在其他特征上无显著差异,则倾向 MCAR。
3. 随机缺失(MAR)—— 行为分层的“痕迹”
定义: 缺失概率依赖于其他已观测到的变量,但与缺失变量自身的真实值无关。这是风控数据中最常见的缺失类型。
风控场景举例:
- 收入字段缺失: 在申请评分卡中,“年收入”字段的缺失概率与用户“职业类型”(已观测)相关。自由职业者(职业类型=4)的缺失率高达 40%,而公务员(职业类型=1)缺失率仅 5%。缺失与否由职业类型决定,而非收入本身的高低。
- 联系人信息缺失: 用户“紧急联系人手机号”的缺失概率与“是否已授信”(已观测)相关。已授信用户因已通过审核,填写意愿降低,缺失率上升。缺失由授信状态驱动,而非联系人号码本身。
- 设备信息缺失: iOS 用户因隐私权限限制,“通讯录数量”字段缺失率显著高于 Android 用户。缺失由设备类型(已观测)决定。
看板处理警示: MAR 场景下,直接删除缺失样本会导致选择偏差。巡检看板应展示“缺失率 vs 关键观测变量”的分层交叉表,辅助建模人员选择正确的填充模型(如回归插补、多重插补)。
4. 非随机缺失(MNAR)—— 风险信号的“黑洞”
定义: 缺失概率与缺失变量自身的真实值直接相关。缺失本身就是一个强风险信号,因为用户或系统在刻意隐藏不利信息。
风控场景举例:
- 逾期历史隐瞒: 用户申请贷款时,“历史逾期次数”字段缺失。缺失的用户往往真实逾期次数很高(>5 次),他们选择不填写以规避风控拦截。缺失与高逾期值直接相关。
- 收入证明缺失: 在“税后月收入”字段中,缺失的用户真实收入通常低于当地最低工资标准。用户因无法提供证明而跳过该字段。
- 黑名单命中: 内部黑名单库查询结果字段缺失,可能是因为查询接口对命中黑名单的用户返回了空值(系统设计缺陷),缺失与“命中黑名单=是”直接关联。
看板应对策略: MNAR 无法通过数据内部信息进行无偏填充。巡检看板必须将 MNAR 字段的“缺失”本身作为一个独立特征(缺失指示变量)加入模型,并配合业务规则(如:收入缺失直接拒绝或要求人工核验)进行处置。
5. 三种缺失类型的关系与风控决策流程
下图展示了从缺失值发现到类型判定,再到最终处理策略的完整决策路径,帮助风控数据分析师在看板中快速定位问题。
6. 风控场景中三种缺失类型的识别清单
巡检看板应内置以下识别清单,帮助分析师快速对缺失字段进行分类:
| 检查维度 | MCAR 倾向 | MAR 倾向 | MNAR 倾向 |
|---|---|---|---|
| 缺失率与时间关系 | 与时间无关,全天均匀 | 与业务高峰/低谷相关 | 与特定事件(如逾期)相关 |
| 缺失率与用户分层 | 各分层缺失率一致 | 不同分层差异显著 | 高风险分层缺失率极高 |
| 缺失率与渠道来源 | 各渠道一致 | 特定渠道偏高 | 线下渠道(人工录入)偏高 |
| 缺失字段的业务含义 | 非敏感、非核心字段 | 中等敏感字段 | 强敏感、强风险字段 |
| 缺失后能否通过其他字段预测 | 不能,无规律 | 能,可用其他字段建模 | 不能,缺失本身就是信息 |
看板自动化建议: 在巡检看板中,对每个缺失字段自动计算“缺失率 vs 关键分层变量”的卡方统计量,并标记 p 值。当 p < 0.05 时,提示该字段可能为 MAR 或 MNAR,需进一步人工复核。