4. 缺失率统计指标：单特征缺失率、多特征联合缺失率、缺失率分布直方图的计算与解读

在特征缺失巡检中，准确量化缺失程度是评估数据质量与修复收益的基础。本章围绕三个核心统计指标展开：单特征缺失率、多特征联合缺失率以及缺失率分布直方图。这些指标从不同粒度刻画缺失模式，为后续的巡检优先级排序和修复策略制定提供定量依据。

4.1 单特征缺失率

单特征缺失率是最基础的缺失度量，反映单个特征中缺失值占总样本数的比例。计算公式如下：

单特征缺失率 = (该特征缺失样本数 / 总样本数) × 100%

该指标直接揭示每个特征的完整程度，是巡检收益评估的起点。通常，缺失率越高的特征，其修复潜在收益越大，但也需结合特征重要性综合判断。

单特征缺失率计算示例

4.2 多特征联合缺失率

多特征联合缺失率衡量的是多个特征同时缺失的样本比例。该指标用于发现特征之间的缺失关联性，识别是否存在系统性缺失模式。计算公式为：

多特征联合缺失率 = (同时缺失的特征组合的样本数 / 总样本数) × 100%

联合缺失率越高，说明这些特征倾向于在同一批样本中同时缺失，可能源于相同的数据采集环节或业务逻辑。例如，income 和 education_level 同时缺失可能表示该样本来自不愿透露个人信息的用户群体。

联合缺失率分析示例

4.3 缺失率分布直方图

缺失率分布直方图将数据集中所有特征的缺失率进行分组统计，展示缺失率在不同区间内的特征数量分布。该图帮助数据质量团队快速把握整体缺失状况，识别缺失率集中区域和异常特征。

构建步骤：

1. 计算每个特征的缺失率（0% ~ 100%）。
2. 将缺失率划分为若干等宽区间（如 0-5%、5-10%、10-20%、20-50%、50-100%）。
3. 统计落入每个区间的特征数量。
4. 以区间为横轴、特征数量为纵轴绘制柱状图。

4.4 三种指标的协同解读

在实际巡检收益评估中，三种指标需结合使用，形成完整的缺失画像：

• 单特征缺失率：快速定位缺失严重的特征，作为初步筛选依据。
• 多特征联合缺失率：揭示特征间的缺失依赖关系，指导分组修复策略。
• 缺失率分布直方图：从全局视角评估数据集整体缺失水平，判断巡检紧迫性。

4.5 计算实现要点

以下 Python 代码片段展示了三种指标的计算方法，基于 pandas 库实现：

import pandas as pd
import numpy as np

# 假设 df 为原始数据框
total_samples = len(df)

# 1. 单特征缺失率
single_missing_rate = df.isnull().sum() / total_samples * 100
print("单特征缺失率:\n", single_missing_rate)

# 2. 多特征联合缺失率（以 income 和 education_level 为例）
feature_combo = ['income', 'education_level']
combo_missing = df[feature_combo].isnull().all(axis=1).sum()
combo_missing_rate = combo_missing / total_samples * 100
print(f"联合缺失率 ({', '.join(feature_combo)}): {combo_missing_rate:.2f}%")

# 3. 缺失率分布直方图数据准备
bins = [0, 5, 10, 20, 50, 100]
labels = ['0-5%', '5-10%', '10-20%', '20-50%', '50-100%']
hist_data = pd.cut(single_missing_rate, bins=bins, labels=labels, right=False)
hist_counts = hist_data.value_counts().sort_index()
print("缺失率分布直方图数据:\n", hist_counts)