3、数据准备与预处理
数据清洗与特征工程是催收模型构建的基石。原始数据通常包含缺失值、异常值、量纲差异以及分布不均等问题，直接建模会导致模型偏差或过拟合。本节将系统讲解数据清洗、标准化与归一化、数据分箱的核心方法。
3.1 数据清洗：缺失值与异常值处理
数据清洗的目标是提升数据质量，减少噪声对模型的影响。催收数据中常见的缺失值来源于用户未填写字段、系统采集失败等；异常值则可能由录入错误、极端还款行为或欺诈导致。
3.1.1 缺失值处理策略
| 处理方法 | 适用场景 | 催收业务示例 |
|---|---|---|
| 删除缺失记录 | 缺失比例 < 5%，且随机缺失 | 删除“联系人电话”缺失且逾期天数极少的样本 |
| 均值/中位数填充 | 连续型特征，分布较对称 | 用历史均值填充“月收入”缺失值 |
| 众数填充 | 离散型特征，类别分布集中 | 用“职业”众数填充缺失的职业信息 |
| 模型预测填充 | 缺失值与其他特征强相关 | 用回归模型预测“信用评分”缺失值 |
| 标记缺失为独立类别 | 缺失本身具有业务含义 | 将“是否提供担保人”缺失标记为“未知” |
3.1.2 异常值检测与处理
催收模型中异常值可能代表欺诈、极端还款能力或数据录入错误。常用检测方法包括：
- 3σ 原则：适用于近似正态分布的数据，超出均值 ±3 倍标准差的值视为异常。
- 箱线图法（IQR）：适用于偏态分布，低于 Q1-1.5×IQR 或高于 Q3+1.5×IQR 的值视为异常。
- 业务规则法：基于催收经验设定阈值，如“逾期天数 > 365”或“月还款额 > 月收入”。
处理方式包括：截尾（Winsorize，将异常值替换为边界值）、删除、或作为独立特征保留。
💡 催收实践提示： 缺失值处理时，建议保留“是否缺失”作为二值特征（如
income_missing_flag），因为催收场景中“用户未提供收入信息”本身可能隐含高风险信号。
3.2 数据标准化与归一化
催收模型中常涉及不同量纲的特征（如“逾期金额”与“逾期天数”），若不进行尺度变换，基于距离的模型（如 KNN、SVM）和梯度下降算法会偏向数值较大的特征。标准化与归一化是解决该问题的两种主要方法。
| 方法 | 公式 | 输出范围 | 适用模型 |
|---|---|---|---|
| Z-score 标准化 | z = (x - μ) / σ |
均值 0，标准差 1 | 线性回归、逻辑回归、SVM、神经网络 |
| Min-Max 归一化 | x' = (x - min) / (max - min) |
[0, 1] | KNN、神经网络、深度学习 |
| Robust 缩放 | x' = (x - median) / IQR |
受异常值影响小 | 含较多异常值的催收特征 |
⚠️ 注意： 标准化与归一化的参数（μ、σ、min、max）必须基于训练集计算，然后应用到验证集和测试集，避免数据泄露。在催收模型上线后，需定期更新这些参数以反映客群变化。
3.3 数据分箱
数据分箱（Binning）将连续特征离散化为有限个区间，能增强模型稳定性、降低过拟合风险，并提升特征的可解释性。催收模型中常用的分箱方法包括等距分箱、等频分箱和卡方分箱。
3.3.1 等距分箱
将特征值域按固定宽度划分为 k 个区间。例如，将“逾期天数”按 30 天间隔分箱：0-30、30-60、60-90、90+。
- 优点：实现简单，区间边界直观。
- 缺点：对数据分布敏感，若数据分布不均，部分箱可能样本极少或为空。
3.3.2 等频分箱
将数据按样本数量均分为 k 个区间，每个区间包含大致相同的样本数。
- 优点：保证每个箱的样本量均衡，适合后续统计建模。
- 缺点：区间边界可能不直观，且相同数值可能被分到不同箱。
3.3.3 卡方分箱
基于卡方检验的自底向上合并方法，通过计算相邻区间的卡方统计量，合并差异不显著的区间，最终得到最优分箱方案。
# 卡方分箱核心步骤（伪代码）
1. 将连续特征按值排序，每个值初始化为一个区间。
2. 计算所有相邻区间的卡方统计量：
χ² = Σ ( (O_ij - E_ij)² / E_ij )
其中 O_ij 为观测频数，E_ij 为期望频数。
3. 合并卡方值最小的相邻区间（即差异最不显著）。
4. 重复步骤 2-3，直到达到预设的区间数或卡方阈值。
📌 催模型分箱建议： 卡方分箱在催收模型中表现优异，因为它能自动找到与目标变量（如“是否逾期 30 天+”）相关性最强的切分点。建议分箱后检查每个箱的坏账率（Bad Rate）是否呈单调趋势，以验证分箱的业务合理性。
3.4 预处理流程总结
在催收模型特征筛选前，建议按以下顺序执行数据预处理：
- 缺失值处理：先分析缺失模式，再选择填充或删除策略，并生成缺失标记特征。
- 异常值处理：结合统计方法和业务规则识别异常，采用截尾或单独处理。
- 数据分箱：对连续特征进行离散化，优先尝试卡方分箱，并验证单调性。
- 标准化/归一化：根据模型类型选择 Z-score 或 Min-Max，注意参数仅从训练集学习。
经过上述预处理后，特征将具备更好的稳定性、可解释性和模型适配性，为后续的特征筛选与建模奠定坚实基础。