📚 课程目录第4章数据完整性检查

4. 数据完整性检查：缺失值检测方法、处理策略与阈值设定

数据完整性是模型训练质量的基石。缺失值不仅会减少有效样本量，还可能引入系统性偏差，导致模型学习到错误的分布特征。本章系统讲解缺失值的检测方法、处理策略以及缺失率阈值的科学设定。

4.1 缺失值检测方法

检测缺失值是数据清洗的第一步。根据数据结构和规模，可采用以下方法：

检测方法	适用场景	检测能力	工具/函数示例
空值统计	结构化表格数据	识别 NaN、None、空字符串	`df.isnull().sum()`
占位符识别	含特殊标记的数据	识别 -1、9999、'N/A'、'Unknown'	`df.replace([-1, 9999], np.nan)`
缺失模式热力图	高维特征分析	可视化缺失聚集区域	`missingno.matrix(df)`
逐行完整性检查	样本级质量评估	统计每行缺失字段数	`df.isnull().sum(axis=1)`

实践建议： 在检测阶段，务必同时检查显式缺失（NaN）和隐式缺失（占位符）。许多数据集使用 -1 或 0 表示缺失，若不处理，模型会将其视为有效数值，造成严重误导。

4.2 缺失值处理策略

根据缺失机制（MCAR、MAR、MNAR）和数据特征，选择不同的处理策略：

策略类别	具体方法	适用条件	风险提示
删除法	行删除（Listwise Deletion）	缺失率低（<5%）且随机缺失	样本量大幅减少，可能引入偏差
删除法	列删除（Drop Column）	特征缺失率极高（>70%）	丢失潜在重要特征
填充法	均值/中位数/众数填充	数值型特征，缺失率较低	降低方差，削弱特征区分度
	前向/后向填充	时间序列数据	不适用于非时序数据
	KNN/模型预测填充	特征间相关性较强	计算成本高，可能过拟合
标记法	新增缺失指示列	缺失本身可能包含信息	增加特征维度

关键警告： 切勿对测试集或验证集使用训练集统计量以外的填充方式。所有填充参数（如均值、中位数）必须从训练集计算并固化，再应用到验证/测试集，防止数据泄露。

4.3 缺失率阈值设定

缺失率阈值是决定特征去留的关键标准。阈值设定需结合业务场景、模型类型和数据量综合判断：

缺失率范围	推荐处理方式	适用场景
< 5%	直接删除缺失行，或简单填充	样本量充足，缺失随机
5% – 20%	填充法（均值/中位数/KNN）	特征重要性中等以上
20% – 50%	填充 + 新增缺失指示列	特征对模型贡献较大
50% – 70%	谨慎保留，优先使用模型预测填充	业务强相关特征
> 70%	建议删除该特征	除非有极强业务理由

  阈值设定原则：
  样本量优先： 当总样本量 > 100 万时，可适当放宽删除阈值；样本量 < 1 万时，应优先采用填充法。
模型鲁棒性： 树模型（XGBoost、LightGBM）对缺失值有一定容忍度，可适当提高保留阈值；线性模型对缺失敏感，需严格处理。
业务验证： 删除特征前，必须与业务方确认该特征是否在推理阶段可获取，避免线上无法复现。

4.4 缺失值处理代码示例

以下代码展示了完整的缺失值检测与处理流程：

import pandas as pd
import numpy as np
from sklearn.impute import KNNImputer

# 1. 缺失值检测
def detect_missing(df):
    """检测并报告缺失情况"""
    # 显式缺失
    explicit_missing = df.isnull().sum()
    # 隐式缺失（占位符）
    placeholder_values = [-1, 9999, -9999, 'N/A', 'Unknown']
    implicit_missing = df.replace(placeholder_values, np.nan).isnull().sum()
    # 合并报告
    missing_report = pd.DataFrame({
        'explicit': explicit_missing,
        'implicit': implicit_missing,
        'total': explicit_missing + implicit_missing,
        'rate': (explicit_missing + implicit_missing) / len(df)
    })
    return missing_report

# 2. 缺失值处理
def handle_missing(df, missing_report, threshold=0.7):
    """根据缺失率阈值处理特征"""
    # 删除高缺失率特征
    high_missing_cols = missing_report[missing_report['rate'] > threshold].index
    df_clean = df.drop(columns=high_missing_cols)
    
    # 对低缺失率特征进行填充
    low_missing_cols = missing_report[missing_report['rate'] <= threshold].index
    for col in low_missing_cols:
        if df_clean[col].dtype in ['float64', 'int64']:
            # 数值特征：中位数填充
            median_val = df_clean[col].median()
            df_clean[col].fillna(median_val, inplace=True)
        else:
            # 类别特征：众数填充
            mode_val = df_clean[col].mode()[0]
            df_clean[col].fillna(mode_val, inplace=True)
    
    return df_clean

# 使用示例
# df = pd.read_csv('training_data.csv')
# report = detect_missing(df)
# df_processed = handle_missing(df, report, threshold=0.7)

进阶技巧： 对于高维稀疏数据（如推荐系统特征），可考虑将缺失值作为单独类别处理，而非填充。例如，在类别特征中新增一个 "missing" 类别，让模型自行学习缺失模式。

4.5 常见陷阱与避坑指南

陷阱1：忽略隐式缺失 — 仅检查 NaN，遗漏 -1、9999 等占位符。解决方案：在检测阶段显式定义占位符列表。
陷阱2：全局统一填充 — 对所有特征使用相同填充策略。解决方案：按特征类型（数值/类别/时序）分别制定填充方案。
陷阱3：填充后不验证分布 — 填充改变了特征分布，可能引入偏差。解决方案：填充后对比填充前后特征的均值、方差和分位数。
陷阱4：测试集使用未来信息 — 用测试集数据计算填充值。解决方案：所有填充参数严格从训练集计算并持久化。
陷阱5：删除过多样本 — 当多个特征都有缺失时，行删除可能导致样本量骤降。解决方案：优先使用填充法，或采用多重插补。

数据完整性检查是模型训练质量的第一道防线。通过系统化的缺失值检测、科学的阈值设定和合理的处理策略，可以最大程度保留数据信息，为后续建模提供可靠基础。