3、缺失数据可视化:使用热力图、缺失比例条形图、缺失模式矩阵图识别数据缺失结构

在风控建模中,仅统计缺失比例远远不够。缺失数据往往不是随机分布的——它们可能集中在某些高风险客群、特定时间窗口或特定业务环节。通过可视化手段,可以快速识别缺失的空间结构、变量关联和模式规律,为后续缺失值处理策略提供直接依据。

3.1 缺失热力图:快速定位缺失聚集区域

缺失热力图(Missing Heatmap)以样本为行、特征为列,用颜色深浅表示缺失与否。深色区域代表缺失集中区,浅色区域代表完整区。它能直观回答三个问题:哪些样本缺失严重?哪些特征缺失集中?缺失是否存在块状结构?

风控实战要点: 如果热力图中缺失区域呈现明显的“竖条”或“横条”,说明缺失与特定特征或特定客群强相关,需警惕非随机缺失(MNAR)。例如,某信贷产品中“工作单位”字段在自雇人士群体中大面积缺失,这本身就是重要的风险信号。
缺失热力图结构示意 完整(0) 缺失(1) 样本1 样本2 样本3 样本4 样本5 样本6 样本7 样本8 样本9 样本10 F1 F2 F3 F4 F5 F6 F7 F8 解读要点 • 样本3-4在F1-F3形成红色竖条: 该客群在收入类字段大面积缺失 • 样本6-8在F4-F5形成红色横条: 特定特征在部分样本中成对缺失

3.2 缺失比例条形图:量化特征缺失严重程度

缺失比例条形图(Missing Proportion Bar Chart)按缺失率从高到低排列特征,并用阈值线标注可接受范围。在风控场景中,通常将缺失率超过 50% 的特征标记为“高风险”,20%-50% 为“需评估”,低于 20% 为“可处理”。

缺失率区间 风控处理建议 典型特征举例
< 5% 直接填充(均值/中位数/众数) 年龄、性别、学历
5% - 20% 填充 + 生成缺失指示变量 收入、工作年限
20% - 50% 优先使用模型预测填充,或分箱为“缺失”类别 征信查询次数、外部评分
> 50% 评估特征价值;若IV值低则直接删除 公积金缴纳基数、特定第三方数据
缺失比例条形图示意 0% 20% 40% 60% 80% 100% 50% 高风险阈值 特征A 85% 特征B 62% 特征C 45% 特征D 28% 特征E 12% 特征F 3% 颜色编码 缺失率 > 50% 20% - 50% < 20%

3.3 缺失模式矩阵图:揭示变量间缺失关联

缺失模式矩阵图(Missing Pattern Matrix)将数据按缺失模式分组,展示不同缺失组合的样本量及占比。它能揭示变量间的缺失依赖关系——例如,当特征A缺失时,特征B是否也大概率缺失?这种关联性在风控中至关重要:如果两个强相关特征同时缺失,可能意味着同一数据源故障或同一客群信息不完整。

实战案例: 在某消费金融风控模型中,发现“单位电话”与“单位地址”的缺失模式高度一致(相关系数 0.87)。进一步分析发现,这两个字段均来自同一第三方数据供应商,缺失集中发生在“个体户”客群。最终策略:对个体户客群直接删除这两个字段,改用替代数据源。

缺失模式矩阵的典型输出结构

缺失模式 特征A 特征B 特征C 特征D 样本数 占比
模式1(完全完整) ✓ ✓ ✓ ✓ 45,230 72.3%
模式2(仅A缺失) ✗ ✓ ✓ ✓ 6,810 10.9%
模式3(A和B同时缺失) ✗ ✗ ✓ ✓ 5,120 8.2%
模式4(C和D同时缺失) ✓ ✓ ✗ ✗ 3,240 5.2%
模式5(全部缺失) ✗ ✗ ✗ ✗ 2,100 3.4%
缺失模式矩阵图示意 完整 缺失 特征A 特征B 特征C 特征D 模式1: 45,230 样本 (72.3%) 模式2: 6,810 样本 (10.9%) ← 上一章 📖 返回目录 下一章 →