2. 数据准备基础：原始数据清洗、缺失值处理、异常值检测与剔除的通用方法

在额度定价模型开发中，原始数据通常来自核心系统、征信机构、第三方数据源，存在格式不一致、字段缺失、极端值等问题。数据准备的质量直接决定模型训练的稳定性和泛化能力。本节系统梳理三类核心预处理任务的通用方法。

2.1 原始数据清洗：从脏数据到结构化表格

原始数据清洗的目标是消除格式错误、重复记录、无效字符和逻辑矛盾，使数据满足建模输入的基本要求。以下为清洗流程中的关键步骤：

2.2 缺失值处理：三种策略与适用场景

缺失值在信贷数据中普遍存在，原因包括客户未填写、系统未采集、数据接口异常等。处理策略需结合缺失率、字段重要性及业务含义综合选择。

下表对比三种主流缺失值处理方法：

以下为统计填充与模型填充的代码示例：

import pandas as pd
from sklearn.ensemble import RandomForestRegressor

# 统计填充：中位数
df['income'].fillna(df['income'].median(), inplace=True)

# 模型预测填充：以'age'和'education'预测'income'
known = df[df['income'].notna()]
unknown = df[df['income'].isna()]
X_train = known[['age', 'education']]
y_train = known['income']
model = RandomForestRegressor(n_estimators=100)
model.fit(X_train, y_train)
df.loc[df['income'].isna(), 'income'] = model.predict(unknown[['age', 'education']])

2.3 异常值检测与剔除：从统计到集成方法

异常值在额度定价数据中常表现为极端收入、异常负债率、不合理年龄等。异常值会拉偏模型参数，降低预测精度。常用检测方法分为三类：

• 统计法：Z-score（假设正态分布）、IQR（四分位距，稳健）。IQR 法将低于 Q1-1.5×IQR 或高于 Q3+1.5×IQR 的值标记为异常。
• 距离法：LOF（局部异常因子）、DBSCAN 聚类，适用于高维或非球形分布。
• 集成法：孤立森林（Isolation Forest）、随机森林异常检测，适合大规模数据且无需假设分布。

下图展示异常值检测的通用流程：

异常值剔除并非一刀切。对于额度定价模型，建议采用“截尾”而非直接删除：将异常值替换为边界值（如 99% 分位数），保留样本量同时抑制极端影响。

import numpy as np

# IQR 截尾处理
Q1 = df['loan_amount'].quantile(0.25)
Q3 = df['loan_amount'].quantile(0.75)
IQR = Q3 - Q1
lower = Q1 - 1.5 * IQR
upper = Q3 + 1.5 * IQR
df['loan_amount'] = df['loan_amount'].clip(lower=lower, upper=upper)

2.4 数据准备全流程总结

将清洗、缺失值处理、异常值检测串联为统一流水线，可大幅提升模型开发效率。以下为推荐的数据准备执行顺序：

1. 格式统一与去重 — 消除基础结构问题
2. 逻辑校验 — 剔除业务上不可能的数据
3. 缺失值处理 — 按缺失率与字段重要性选择策略
4. 异常值检测与截尾 — 使用 IQR 或孤立森林
5. 编码映射与特征衍生 — 为建模准备最终输入