3. 缺失值可视化：使用 missingno 库快速洞察缺失模式

在特征工程中，仅通过 df.isnull().sum() 查看缺失数量远远不够。缺失值的分布位置、出现规律以及变量间的缺失关联，往往隐藏着数据采集异常或系统性偏差。Python 的 missingno 库专为缺失值可视化设计，提供三种核心图表：缺失值矩阵、条形图、热力图，帮助你在几秒内掌握全局缺失结构。

3.1 安装与快速入门

missingno 基于 matplotlib，安装后即可与 pandas DataFrame 无缝配合：

# 安装
pip install missingno

# 导入
import missingno as msno
import pandas as pd
import numpy as np

# 构造示例数据（含缺失）
np.random.seed(42)
df = pd.DataFrame({
    'age': np.random.randint(20, 60, 100).astype(float),
    'income': np.random.normal(50000, 15000, 100).astype(float),
    'education_yrs': np.random.randint(8, 20, 100).astype(float),
    'credit_score': np.random.randint(300, 850, 100).astype(float),
    'loan_amount': np.random.normal(20000, 8000, 100).astype(float)
})
# 随机引入缺失
for col in df.columns:
    mask = np.random.random(100) < 0.15
    df.loc[mask, col] = np.nan

3.2 缺失值矩阵（Matrix）—— 定位缺失“位置”

msno.matrix(df) 将 DataFrame 绘制为一个二维栅格：行 = 样本，列 = 特征。白色单元格表示缺失，黑色表示存在。右侧的 sparkline 显示每行完整度。

# 绘制缺失值矩阵
msno.matrix(df, figsize=(10, 5), fontsize=12, sparkline=True)
# 默认会显示 matplotlib 图表，在 Jupyter 中直接输出

3.3 缺失值条形图（Bar）—— 量化缺失比例

msno.bar(df) 为每个特征绘制一个条形，高度表示非缺失样本数。右侧的弹性坐标轴自动缩放，让你一眼看出哪个特征缺失最严重。

# 绘制缺失值条形图
msno.bar(df, figsize=(10, 4), fontsize=12, color='#3498db')

3.4 缺失值热力图（Heatmap）—— 发现缺失关联

msno.heatmap(df) 计算特征之间缺失模式的相关性（范围 -1 到 1）。正值表示两个特征倾向于同时缺失或同时存在；负值表示一个特征缺失时，另一个特征倾向于存在。

# 绘制缺失值热力图
msno.heatmap(df, figsize=(8, 6), fontsize=12, cmap='RdBu')

3.5 三种图表对比与选择策略

3.6 实战流程：从可视化到插补决策

1. 第一步：绘制矩阵，检查是否存在系统性缺失条带。如果发现连续样本区间内某特征全白，优先排查数据采集日志。
2. 第二步：绘制条形图，标记缺失率 > 20% 的特征，列入重点插补名单。
3. 第三步：绘制热力图，找出缺失相关性 > 0.5 的特征对。这些特征应使用多元插补（如 MICE）而非单变量均值填充。
4. 第四步：综合决策，根据缺失模式选择插补策略（后续章节详解）。

# 完整可视化流程示例
import missingno as msno
import matplotlib.pyplot as plt

fig, axes = plt.subplots(1, 3, figsize=(18, 5))

# 矩阵
msno.matrix(df, ax=axes[0], fontsize=10, sparkline=True)
axes[0].set_title('缺失值矩阵', fontsize=13, fontweight='bold')

# 条形图
msno.bar(df, ax=axes[1], fontsize=10, color='#3498db')
axes[1].set_title('缺失值条形图', fontsize=13, fontweight='bold')

# 热力图
msno.heatmap(df, ax=axes[2], fontsize=10, cmap='RdBu')
axes[2].set_title('缺失值热力图', fontsize=13, fontweight='bold')

plt.tight_layout()
plt.show()