4. 数据清洗基础：处理缺失值、重复值与异常值

在贷后风控建模中，原始数据通常包含大量噪声。缺失值、重复记录和异常值会严重干扰LightGBM的特征学习过程，导致模型偏差或过拟合。本章将系统讲解三类基础清洗操作，确保进入特征筛选环节的数据质量可靠。

4.1 缺失值处理

缺失值在贷后数据中极为常见，例如客户收入字段缺失、历史逾期天数未记录等。处理策略需结合缺失率与业务含义。

4.1.1 处理策略对比

4.1.2 代码实现

import pandas as pd
import numpy as np

# 示例数据
df = pd.DataFrame({
    'income': [5000, 6000, np.nan, 8000, 5500],
    'overdue_days': [0, 5, 2, np.nan, 1],
    'age': [25, 30, 35, np.nan, 28]
})

# 均值填充
df['income_filled_mean'] = df['income'].fillna(df['income'].mean())

# 中位数填充
df['income_filled_median'] = df['income'].fillna(df['income'].median())

# 删除缺失行（阈值：至少2个非空值）
df_dropped = df.dropna(thresh=2)

# 删除高缺失列（缺失率 > 50%）
threshold = 0.5
df_cleaned = df.loc[:, df.isnull().mean() < threshold]

4.2 重复值处理

重复记录通常由数据采集异常、多源合并或人工录入错误导致。在贷后场景中，重复的客户ID或订单号会放大特定样本的权重，干扰模型训练。

4.2.1 检测与去重

• 完全重复：所有字段值相同，直接删除保留一条。
• 部分重复：关键字段（如客户ID、合同号）重复，需按时间戳或数据源优先级保留最新记录。

# 检测完全重复
duplicates = df.duplicated()
print(f"完全重复行数: {duplicates.sum()}")

# 删除完全重复
df_unique = df.drop_duplicates()

# 按关键字段去重，保留最后一条记录
df_deduplicated = df.drop_duplicates(subset=['customer_id'], keep='last')

4.3 异常值处理（IQR法）

异常值会拉偏特征分布，影响LightGBM的分裂点选择。IQR（四分位距）法是一种基于统计分布的稳健检测方法，不假设数据服从正态分布。

4.3.1 IQR原理

IQR = Q3 - Q1，其中Q1为第一四分位数（25%分位），Q3为第三四分位数（75%分位）。异常值定义为：

• 下界：Q1 - 1.5 × IQR
• 上界：Q3 + 1.5 × IQR
• 超出上下界的值视为异常值。

4.3.2 代码实现与处理策略

def detect_outliers_iqr(df, column):
    Q1 = df[column].quantile(0.25)
    Q3 = df[column].quantile(0.75)
    IQR = Q3 - Q1
    lower_bound = Q1 - 1.5 * IQR
    upper_bound = Q3 + 1.5 * IQR
    outliers = df[(df[column] < lower_bound) | (df[column] > upper_bound)]
    return outliers, lower_bound, upper_bound

# 示例：检测收入字段异常值
outliers, lb, ub = detect_outliers_iqr(df, 'income')
print(f"异常值数量: {len(outliers)}")
print(f"正常范围: [{lb:.2f}, {ub:.2f}]")

# 处理策略1：截尾（Winsorize）——将异常值替换为边界值
df['income_winsorized'] = df['income'].clip(lower=lb, upper=ub)

# 处理策略2：删除异常值
df_no_outliers = df[(df['income'] >= lb) & (df['income'] <= ub)]

4.4 数据清洗流程总结

将三类清洗操作整合为标准化流程，确保每次建模前数据质量可控：

1. 缺失值诊断：计算每列缺失率，分类处理（低缺失填充，高缺失删除）。
2. 重复值清理：基于业务主键去重，保留最新或最完整记录。
3. 异常值检测：对数值型特征应用IQR法，结合业务规则决定截尾或删除。
4. 质量验证：检查清洗后数据量、分布形态，确保无信息泄露。