1. 缺失值概述

缺失值是数据预处理中最常见的问题之一。在真实业务场景中，几乎不存在完全干净的数据集。理解缺失值的定义、产生原因及类型，是后续选择填充策略、避免数据偏差的前提。

1.1 缺失值的定义

缺失值（Missing Value）指数据集中某个或某些特征在特定样本上未被记录、不可用或不确定的值。在结构化数据中，通常以 NaN、None、null 或特定占位符（如 -999、Unknown）表示。

1.2 缺失值的产生原因

缺失原因可归纳为两大类：机械原因与人为原因。下表列出了常见场景及典型示例。

1.3 缺失值的三种类型

根据缺失机制与观测数据之间的关系，统计学家将缺失值分为三类。这是选择缺失值处理方法的核心依据。

1.3.1 完全随机缺失（MCAR）

数据缺失的概率与自身取值无关，也与其他任何变量无关。缺失完全由外部随机因素造成。

• 判断标准：缺失组与非缺失组在其他特征上的分布无显著差异。
• 常见场景：实验室样本在运输途中随机打翻；传感器因雷击随机失效。
• 处理方法：可直接删除缺失样本（若比例较小），或使用均值/中位数填充。

1.3.2 随机缺失（MAR）

数据缺失的概率依赖于其他已观测变量，但与缺失变量本身的值无关。这是实际数据中最常见的类型。

• 判断标准：缺失概率可由其他特征预测（如高收入人群更可能隐瞒收入）。
• 常见场景：年龄越大的人越不愿填写“体重”字段；女性更倾向于不回答“吸烟量”。
• 处理方法：利用其他特征进行多重插补、回归填充或模型预测。

1.3.3 非随机缺失（MNAR）

数据缺失的概率与缺失变量本身的值直接相关。即使观测到其他变量，也无法完全解释缺失机制。

• 判断标准：缺失值往往集中在极端值或敏感值上（如极高收入者不填收入）。
• 常见场景：重度抑郁症患者跳过“情绪评估”量表；高负债者不填写“负债金额”。
• 处理方法：最棘手的一类，需引入外部信息、敏感度分析或构建缺失指示变量。

1.4 三种缺失类型对比

1.5 缺失机制分类图

下图展示了三种缺失类型在数据空间中的关系，帮助直观理解缺失机制与观测数据之间的依赖结构。

1.6 缺失模式分析代码示例

在 Python 中，可使用 pandas 和 missingno 快速识别缺失模式。以下代码展示了如何生成缺失矩阵和相关性热图。

import pandas as pd
import numpy as np
import missingno as msno
import matplotlib.pyplot as plt

# 模拟包含缺失值的数据集
np.random.seed(42)
df = pd.DataFrame({
    'age': np.random.randint(18, 70, 100).astype(float),
    'income': np.random.normal(50000, 15000, 100).astype(float),
    'education_years': np.random.randint(6, 22, 100).astype(float),
    'credit_score': np.random.randint(300, 850, 100).astype(float)
})

# 人为制造缺失（MCAR：随机删除10%）
for col in df.columns:
    mask = np.random.random(100) < 0.1
    df.loc[mask, col] = np.nan

# 缺失矩阵可视化
msno.matrix(df)
plt.title('缺失值矩阵（白色=缺失）')
plt.show()

# 缺失相关性热图
msno.heatmap(df)
plt.title('缺失值相关性热图')
plt.show()

# 统计缺失比例
print("各特征缺失比例：")
print(df.isnull().mean().round(3))