4. 数据预处理：缺失值处理、异常值处理、类别变量编码、数据标准化/归一化

在额度定价漂移检测任务中，原始数据通常包含缺失值、异常值、非数值型类别特征以及量纲差异较大的数值特征。这些“脏数据”会直接影响漂移检测模型的稳定性和准确性。本章将系统讲解数据预处理的四个核心环节，确保输入模型的数据干净、规范、可比。

4.1 缺失值处理

缺失值在信贷数据中十分常见，例如客户收入字段未填写、历史额度字段为空等。处理策略需根据缺失比例和业务含义选择。

import pandas as pd
import numpy as np

# 示例：中位数填充数值列，众数填充类别列
df['income'].fillna(df['income'].median(), inplace=True)
df['education'].fillna(df['education'].mode()[0], inplace=True)

# 标记缺失指示列
df['income_missing'] = df['income'].isna().astype(int)

4.2 异常值处理

异常值会扭曲统计分布，导致漂移检测产生误报。常用检测方法包括 IQR 规则和 Z-Score 方法。

• IQR 规则：定义 Q1 – 1.5×IQR 到 Q3 + 1.5×IQR 为正常范围，超出视为异常。
• Z-Score 方法：|Z| > 3 的样本视为异常（适用于近似正态分布）。

# IQR 方法检测异常值
Q1 = df['loan_amount'].quantile(0.25)
Q3 = df['loan_amount'].quantile(0.75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR

# 将异常值替换为边界值（截尾处理）
df['loan_amount'] = df['loan_amount'].clip(lower_bound, upper_bound)

4.3 类别变量编码

机器学习模型无法直接处理文本型类别变量，需要转换为数值形式。不同编码方式适用于不同数据类型。

from sklearn.preprocessing import LabelEncoder, OneHotEncoder

# Label Encoding 用于有序变量
le = LabelEncoder()
df['education_level'] = le.fit_transform(df['education'])

# One-Hot Encoding 用于无序变量
df = pd.get_dummies(df, columns=['occupation'], drop_first=True)

4.4 数据标准化与归一化

标准化和归一化用于消除量纲影响，使不同尺度的特征在漂移检测中具有可比性。两者适用场景不同。

from sklearn.preprocessing import StandardScaler, MinMaxScaler

# Z-Score 标准化
scaler_std = StandardScaler()
df[['income', 'loan_amount']] = scaler_std.fit_transform(df[['income', 'loan_amount']])

# Min-Max 归一化
scaler_mm = MinMaxScaler()
df[['age', 'credit_score']] = scaler_mm.fit_transform(df[['age', 'credit_score']])

4.5 数据预处理完整流程

下图展示了从原始数据到建模就绪数据的完整预处理流水线，四个环节按顺序执行，每个环节的输出作为下一环节的输入。

4.6 预处理前后对比示例

以下表格展示一条样本在预处理前后的变化，直观感受数据清洗的效果。