3、缺失数据可视化:使用热力图、缺失比例条形图、缺失模式矩阵图识别数据缺失结构
在风控建模中,仅统计缺失比例远远不够。缺失数据往往不是随机分布的——它们可能集中在某些高风险客群、特定时间窗口或特定业务环节。通过可视化手段,可以快速识别缺失的空间结构、变量关联和模式规律,为后续缺失值处理策略提供直接依据。
3.1 缺失热力图:快速定位缺失聚集区域
缺失热力图(Missing Heatmap)以样本为行、特征为列,用颜色深浅表示缺失与否。深色区域代表缺失集中区,浅色区域代表完整区。它能直观回答三个问题:哪些样本缺失严重?哪些特征缺失集中?缺失是否存在块状结构?
风控实战要点: 如果热力图中缺失区域呈现明显的“竖条”或“横条”,说明缺失与特定特征或特定客群强相关,需警惕非随机缺失(MNAR)。例如,某信贷产品中“工作单位”字段在自雇人士群体中大面积缺失,这本身就是重要的风险信号。
3.2 缺失比例条形图:量化特征缺失严重程度
缺失比例条形图(Missing Proportion Bar Chart)按缺失率从高到低排列特征,并用阈值线标注可接受范围。在风控场景中,通常将缺失率超过 50% 的特征标记为“高风险”,20%-50% 为“需评估”,低于 20% 为“可处理”。
| 缺失率区间 | 风控处理建议 | 典型特征举例 |
|---|---|---|
| < 5% | 直接填充(均值/中位数/众数) | 年龄、性别、学历 |
| 5% - 20% | 填充 + 生成缺失指示变量 | 收入、工作年限 |
| 20% - 50% | 优先使用模型预测填充,或分箱为“缺失”类别 | 征信查询次数、外部评分 |
| > 50% | 评估特征价值;若IV值低则直接删除 | 公积金缴纳基数、特定第三方数据 |
3.3 缺失模式矩阵图:揭示变量间缺失关联
缺失模式矩阵图(Missing Pattern Matrix)将数据按缺失模式分组,展示不同缺失组合的样本量及占比。它能揭示变量间的缺失依赖关系——例如,当特征A缺失时,特征B是否也大概率缺失?这种关联性在风控中至关重要:如果两个强相关特征同时缺失,可能意味着同一数据源故障或同一客群信息不完整。
实战案例: 在某消费金融风控模型中,发现“单位电话”与“单位地址”的缺失模式高度一致(相关系数 0.87)。进一步分析发现,这两个字段均来自同一第三方数据供应商,缺失集中发生在“个体户”客群。最终策略:对个体户客群直接删除这两个字段,改用替代数据源。
缺失模式矩阵的典型输出结构
| 缺失模式 | 特征A | 特征B | 特征C | 特征D | 样本数 | 占比 |
|---|---|---|---|---|---|---|
| 模式1(完全完整) | ✓ | ✓ | ✓ | ✓ | 45,230 | 72.3% |
| 模式2(仅A缺失) | ✗ | ✓ | ✓ | ✓ | 6,810 | 10.9% |
| 模式3(A和B同时缺失) | ✗ | ✗ | ✓ | ✓ | 5,120 | 8.2% |
| 模式4(C和D同时缺失) | ✓ | ✓ | ✗ | ✗ | 3,240 | 5.2% |
| 模式5(全部缺失) | ✗ | ✗ | ✗ | ✗ | 2,100 | 3.4% |