4. 缺失值处理（下）：均值/中位数/众数填充、KNN填充、回归填充、多重插补法

在上一节中，我们讨论了缺失值的基本处理策略，包括删除法和简单统计量填充。本节将深入探讨更高级的填充技术，这些方法能够更好地保留数据分布特征，减少因填充引入的偏差。我们将从最简单的单变量填充逐步过渡到复杂的多变量插补方法。

4.1 单变量统计量填充：均值、中位数与众数

这是最基础且应用最广泛的填充方法，其核心思想是用该特征自身的集中趋势度量来替代缺失值。选择哪种统计量取决于数据的分布类型和业务含义。

4.2 KNN 填充：基于近邻的相似性插补

KNN 填充利用样本间的相似性来估计缺失值。对于包含缺失值的样本，算法在数据集中找到与其最相似的 K 个完整样本（近邻），然后根据这些近邻对应特征的值进行加权或简单平均来填充缺失项。

# Python 示例：使用 sklearn 的 KNNImputer
from sklearn.impute import KNNImputer
import numpy as np

# 模拟数据：包含缺失值
X = np.array([[1, 2, np.nan],
              [3, 4, 3],
              [7, 6, 5],
              [np.nan, 8, 7]])

# 初始化 KNN 填充器，K=2，使用距离加权平均
imputer = KNNImputer(n_neighbors=2, weights="distance")

# 执行填充
X_imputed = imputer.fit_transform(X)
print(X_imputed)
# 输出示例：
# [[1.  2.  4. ]
#  [3.  4.  3. ]
#  [7.  6.  5. ]
#  [5.  8.  7. ]]

4.3 回归填充：利用特征间线性关系

回归填充假设缺失特征与其他特征之间存在线性或非线性关系。它将缺失特征作为目标变量，其他完整特征作为自变量，建立回归模型来预测缺失值。

# Python 示例：使用线性回归进行填充
from sklearn.linear_model import LinearRegression
import pandas as pd
import numpy as np

# 假设 df 是包含缺失值的 DataFrame，'feature_A' 有缺失
# 使用其他完整特征预测 'feature_A'
train_df = df[df['feature_A'].notna()]
test_df = df[df['feature_A'].isna()]

X_train = train_df[['feature_B', 'feature_C', 'feature_D']]
y_train = train_df['feature_A']
X_test = test_df[['feature_B', 'feature_C', 'feature_D']]

model = LinearRegression()
model.fit(X_train, y_train)
predicted_values = model.predict(X_test)

# 填充缺失值
df.loc[df['feature_A'].isna(), 'feature_A'] = predicted_values

4.4 多重插补法 (MICE)

多重插补法（Multiple Imputation by Chained Equations, MICE）是目前统计学界公认最稳健的缺失值处理方法之一。它通过迭代的方式，为每个缺失值生成多个合理的填充值，从而反映填充的不确定性。

MICE 的核心步骤：

1. 初始化： 先用均值/中位数等简单方法填充所有缺失值。
2. 迭代循环： 对每个含有缺失值的特征，将其设为缺失状态，使用其他特征（包括已填充的值）建立回归模型，预测并更新该特征的缺失值。
3. 重复： 步骤 2 经过多轮迭代（通常 5-10 轮），直到模型收敛。
4. 生成多个数据集： 重复整个流程 M 次（通常 M=5），生成 M 个不同的完整数据集。
5. 合并结果： 对 M 个数据集的分析结果进行 Rubin 规则合并，得到最终的参数估计和标准误。

# Python 示例：使用 miceforest 库进行多重插补
# 安装：pip install miceforest
import miceforest as mf
import pandas as pd

# 加载数据（假设 df 包含缺失值）
# df = pd.read_csv('your_data.csv')

# 创建内核并执行多重插补
kernel = mf.MultipleImputedKernel(
    data=df,
    datasets=5,          # 生成 5 个完整数据集
    save_all_iterations=True,
    random_state=2023
)

# 运行 MICE 算法（默认迭代 5 轮）
kernel.mice(iterations=5)

# 获取第 1 个完整数据集
completed_data_1 = kernel.complete_data(dataset=1)

# 对多个数据集进行分析并合并结果
# 例如：对每个数据集训练模型，然后合并参数估计

4.5 方法选择决策指南

在实际项目中，选择哪种填充方法需要综合考虑数据特征、缺失机制和计算资源。以下决策树可以帮助你快速做出选择：