2. 缺失值类型：完全随机缺失(MCAR)、随机缺失(MAR)、非随机缺失(MNAR)的概念与区别

在数据挖掘与特征工程中，缺失值的产生机制直接影响插补策略的选择。错误的假设会导致有偏估计或模型失效。缺失值机制分为三种类型：完全随机缺失（MCAR）、随机缺失（MAR）和非随机缺失（MNAR）。理解三者的区别是选择插补方法的前提。

2.1 三种缺失机制的核心定义

设数据集包含完整变量 X 和缺失变量 Y，缺失指示变量为 R（R=1 表示缺失，R=0 表示观测）。三种机制的定义如下：

2.2 三种机制的详细对比与影响

• MCAR（完全随机缺失）：缺失是完全随机的，观测数据是完整数据的一个随机子集。此时直接删除缺失样本（listwise deletion）不会引入偏差，但会损失样本量。均值插补、中位数插补等简单方法在 MCAR 下是有效的。
• MAR（随机缺失）：缺失概率依赖于其他已观测变量，但不依赖于缺失变量本身。例如，在收入调查中，年龄越大的人越可能不填收入（年龄已观测）。MAR 是实际数据中最常见的缺失机制。此时需要使用基于模型的插补方法（如多重插补、回归插补）来利用观测变量信息。
• MNAR（非随机缺失）：缺失概率与缺失变量本身的值有关。例如，高收入人群故意不填收入，或病情严重的患者拒绝接受检查。MNAR 无法通过观测数据完全验证，需要引入外部信息或进行敏感性分析。简单删除或插补都会导致严重偏差。

2.3 缺失机制判断流程

在实际项目中，判断缺失机制通常遵循以下步骤：

1. 统计检验：使用 Little's MCAR 检验。如果 p 值 > 0.05，则不能拒绝 MCAR 假设。
2. 逻辑回归分析：以缺失指示变量 R 为因变量，以其他完整变量 X 为自变量建立逻辑回归模型。如果模型显著，则数据可能为 MAR 或 MNAR。
3. 领域知识评估：结合业务逻辑判断缺失是否可能与缺失变量本身有关。例如，在医疗数据中，重症患者更可能缺失某些检查结果，这通常是 MNAR 的信号。
4. 敏感性分析：在 MAR 假设下进行插补，然后改变假设（如假设 MNAR 并调整插补值），观察分析结果是否稳定。

2.4 三种机制对插补策略的影响

2.5 代码示例：使用 Python 检验 MCAR 假设

import pandas as pd
import numpy as np
from scipy.stats import chi2

def little_mcar_test(df):
    """
    Little's MCAR 检验：检验缺失是否完全随机
    返回：卡方统计量、自由度、p值
    """
    # 计算每个变量的缺失模式
    missing_pattern = df.isnull().astype(int)
    pattern_counts = missing_pattern.value_counts()
    
    # 计算总体均值与协方差
    n = len(df)
    means = df.mean()
    cov = df.cov()
    
    # 计算每个缺失模式的期望与观测差异
    chi2_stat = 0
    df_total = 0
    
    for pattern, count in pattern_counts.items():
        if count < 2:
            continue
        # 该模式下的观测变量
        obs_vars = [i for i, v in enumerate(pattern) if v == 0]
        if len(obs_vars) == 0:
            continue
        # 提取该模式下的数据
        pattern_data = df.iloc[missing_pattern.eq(pattern).all(axis=1).values]
        pattern_means = pattern_data.mean()
        # 计算卡方贡献
        diff = pattern_means - means.iloc[obs_vars]
        # 简化计算：使用对角协方差
        var_diag = np.diag(cov.iloc[obs_vars, obs_vars])
        var_diag = np.where(var_diag > 0, var_diag, 1e-6)
        chi2_contrib = np.sum((diff ** 2) / var_diag) * count
        chi2_stat += chi2_contrib
        df_total += len(obs_vars)
    
    p_value = 1 - chi2.cdf(chi2_stat, df=df_total - 1)
    return chi2_stat, df_total - 1, p_value

# 示例使用
np.random.seed(42)
data = pd.DataFrame({
    'age': np.random.normal(40, 10, 200),
    'income': np.random.normal(50000, 15000, 200),
    'score': np.random.normal(75, 15, 200)
})

# 随机引入 MCAR 缺失
data.loc[np.random.choice(200, 20, replace=False), 'income'] = np.nan
data.loc[np.random.choice(200, 15, replace=False), 'score'] = np.nan

stat, dof, pval = little_mcar_test(data)
print(f"Little's MCAR 检验结果：")
print(f"卡方统计量 = {stat:.2f}")
print(f"自由度 = {dof}")
print(f"p值 = {pval:.4f}")
if pval > 0.05:
    print("结论：不能拒绝 MCAR 假设（数据可能为 MCAR）")
else:
    print("结论：拒绝 MCAR 假设（数据可能为 MAR 或 MNAR）")