缺失值检测：从基础方法到可视化诊断

在数据清洗流程中，缺失值检测是第一步，也是最容易被忽视的一步。很多初学者直接调用 dropna() 或 fillna() 处理数据，却不知道数据缺失的模式、比例和分布会直接影响后续填补策略的选择。本节将系统讲解缺失值检测的四种核心方法，并通过可视化手段直观呈现缺失模式。

2.1 基础检测方法

Pandas 提供了四个最常用的缺失值检测工具，它们各有侧重，组合使用可以快速掌握数据集的缺失全貌。

代码示例：基础检测组合拳

import pandas as pd
import numpy as np

# 构造示例数据
df = pd.DataFrame({
    '年龄': [25, 30, np.nan, 22, 35],
    '收入': [5000, np.nan, 8000, np.nan, 12000],
    '性别': ['男', '女', '女', np.nan, '男'],
    '城市': ['北京', '上海', '广州', '深圳', np.nan]
})

# 1. 快速概览
print("=== info() 输出 ===")
df.info()

# 2. 精确统计
print("\n=== 每列缺失数量 ===")
print(df.isnull().sum())

# 3. 缺失比例
print("\n=== 每列缺失比例 ===")
print(df.isnull().mean())

# 4. 描述统计中的非空计数
print("\n=== describe() 中的 count ===")
print(df.describe().loc['count'])

2.2 缺失模式的可视化诊断

数值统计只能告诉我们“缺了多少”，但无法回答“缺失是否有规律”。可视化缺失模式可以帮助我们发现：缺失是否随机分布？是否存在列之间的缺失关联？缺失是否集中在某些样本上？

2.2.1 缺失值热力图

热力图通过颜色深浅直观展示每列之间的缺失相关性。当两列同时缺失的频率较高时，热力图中对应的格子颜色会加深，提示可能存在“连锁缺失”现象。

import matplotlib.pyplot as plt
import seaborn as sns

# 构造缺失指示矩阵
missing_matrix = df.isnull()

# 计算缺失相关性
missing_corr = missing_matrix.corr()

# 绘制热力图
plt.figure(figsize=(8, 6))
sns.heatmap(missing_corr, annot=True, cmap='RdBu_r', 
            vmin=-1, vmax=1, center=0,
            linewidths=0.5, cbar_kws={'label': '缺失相关系数'})
plt.title('缺失值相关性热力图', fontsize=14)
plt.tight_layout()
plt.show()

2.2.2 缺失值矩阵图

缺失值矩阵图（Missing Matrix）以样本为行、特征为列，用颜色标记每个单元格是否缺失。这种可视化方式可以直观展示：缺失是否集中在某些样本上？缺失是否呈现某种结构（如单调缺失、任意缺失）？

import missingno as msno

# 使用 missingno 库绘制缺失值矩阵图
# 白色表示数据存在，黑色表示缺失
msno.matrix(df, figsize=(10, 6), fontsize=12, 
            color=(0.2, 0.4, 0.6), sparkline=True)
plt.title('缺失值矩阵图（白色=缺失，黑色=存在）', fontsize=14)
plt.tight_layout()
plt.show()

2.3 缺失模式分类与应对策略

通过上述检测方法，我们可以将缺失模式分为三类，每类对应不同的处理策略：