2. 特征缺失基础：什么是特征缺失，缺失值的类型及其对模型的影响

在数据科学和机器学习工程中，特征缺失（Missing Values）是指数据集中某个或某些特征的观测值未被记录或不存在。缺失值几乎是所有真实世界数据集的常态，其产生原因包括传感器故障、人工录入遗漏、数据传输中断、用户拒绝填写等。如果不加以识别和处理，缺失值会直接破坏模型的训练过程、降低预测精度，甚至引入严重的偏差。

2.1 缺失值的三种统计类型

统计学家 Rubin（1976）提出了缺失数据的三种机制，它们决定了缺失值对模型的影响程度以及应该采用何种处理策略。理解这三种类型是进行特征缺失巡检的第一步。

2.2 缺失机制对模型影响的深度分析

不同类型的缺失值对机器学习模型的影响差异巨大，主要体现在以下三个维度：

• 样本代表性（偏差）： MCAR 不会破坏样本的代表性；MAR 可能导致某些子群体被过度代表或低估；MNAR 则直接使样本分布偏离真实总体分布，模型在推理时会产生系统性偏差。
• 统计效力（方差）： 缺失值会减少有效样本量，降低模型参数估计的精度。MCAR 下样本量减少是均匀的；MAR 和 MNAR 下有效样本的减少集中在特定子集，导致模型在这些子集上的预测方差更大。
• 模型拟合与泛化： 大多数机器学习算法（如线性回归、SVM、神经网络）无法直接处理缺失值。如果采用不当的填充策略（如简单均值填充），会扭曲特征间的协方差结构，导致模型过拟合或欠拟合。

2.3 缺失机制与处理策略的对应关系

下图展示了三种缺失机制与推荐处理策略之间的决策路径，帮助你在巡检过程中快速定位应对方案。

2.4 缺失值对模型性能的具体影响

下表总结了不同缺失类型在常见模型场景下的具体影响表现，帮助你在巡检时快速评估风险等级。

2.5 缺失值检测的工程实践

在 Python 工程环境中，以下代码片段展示了如何快速检测缺失值并初步判断缺失类型：

import pandas as pd
import numpy as np
from scipy.stats import chi2_contingency

def missing_type_screening(df, target_col=None):
    """
    快速筛查特征缺失类型（工程简化版）
    """
    # 1. 计算缺失率
    missing_ratio = df.isnull().mean().sort_values(ascending=False)
    print("=== 特征缺失率 ===")
    print(missing_ratio[missing_ratio > 0])

    # 2. 初步判断 MCAR：检查缺失是否与目标变量独立
    if target_col:
        print("\n=== MCAR 初步检验（卡方独立性）===")
        for col in df.columns[df.isnull().any()]:
            # 构造缺失指示变量
            missing_indicator = df[col].isnull().astype(int)
            contingency = pd.crosstab(missing_indicator, df[target_col])
            if contingency.shape == (2, 2):
                chi2, p, _, _ = chi2_contingency(contingency)
                status = "可能 MCAR" if p > 0.05 else "可能 MAR/MNAR"
                print(f"{col}: p-value={p:.4f} → {status}")

    # 3. 返回缺失率最高的特征列表
    high_missing = missing_ratio[missing_ratio > 0.05].index.tolist()
    return high_missing

# 使用示例
# high_missing_features = missing_type_screening(df, target_col='label')