4. 模型训练与验证：训练/验证/测试集划分、交叉验证策略、模型评估指标

在催收模型上线前，严谨的验证流程是保障模型稳定性和泛化能力的关键。本章聚焦于数据划分策略、交叉验证方法以及核心评估指标，确保模型在真实生产环境中具备可靠的区分能力和排序能力。

4.1 训练/验证/测试集划分策略

合理的样本划分是模型评估的基础。在催收场景中，通常按时间顺序或随机分层抽样进行划分，以避免数据泄露和时序穿越。

数据集	用途	常见比例	催收场景注意事项
训练集	模型参数学习与特征权重拟合	60% - 70%	需包含完整的逾期阶段样本，避免类别失衡
验证集	超参数调优、特征选择、早停判断	15% - 20%	与训练集保持相同时间窗口，防止未来信息泄露
测试集	最终模型泛化能力评估，不参与任何训练决策	15% - 20%	使用最新时间段的样本，模拟上线后的真实分布

4.2 交叉验证策略

交叉验证能够更充分地利用有限样本，降低单次划分带来的随机性。在催收模型开发中，以下三种策略最为常用：

• K-Fold 交叉验证： 将训练集等分为 K 份（通常 K=5 或 10），每次用 K-1 份训练、1 份验证，循环 K 次。适用于样本量充足、分布稳定的场景。
• Stratified K-Fold： 在 K-Fold 基础上保持每折中正负样本比例与原始数据集一致。适用于催收场景中逾期/正常样本比例严重失衡的情况。
• Time Series Split： 按时间顺序递增式划分训练集，验证集始终为当前时间窗口之后的数据。最贴近催收模型上线后的真实预测环境，能有效检测时序漂移。

4.3 模型评估指标

催收模型的核心目标是区分“好客户”（正常还款）与“坏客户”（逾期/坏账）。以下三个指标是业界最常用的评估标准：

4.3.1 AUC (Area Under the ROC Curve)

AUC 衡量模型在所有阈值下的整体区分能力，取值范围 [0.5, 1.0]。AUC 越接近 1.0，模型将正样本（坏客户）排在负样本（好客户）之前的概率越高。

• AUC = 0.5：模型无区分能力，等同于随机猜测。
• AUC > 0.75：模型具备可接受的区分能力。
• AUC > 0.85：模型区分能力优秀，适合上线部署。

4.3.2 KS (Kolmogorov-Smirnov)

KS 统计量衡量模型在最佳阈值下，正负样本累积分布之间的最大差异。KS 值越高，模型在某个分数段对正负样本的区分越明显。

• KS < 0.2：模型区分能力弱，不建议上线。
• KS 0.2 - 0.4：模型具备中等区分能力，可结合业务规则使用。
• KS > 0.4：模型区分能力强，适合独立决策。

4.3.3 Gini 系数

Gini 系数与 AUC 存在线性关系：Gini = 2 * AUC - 1。Gini 系数将 AUC 映射到 [-1, 1] 区间，更直观地反映模型相对于随机模型的提升幅度。

• Gini = 0：模型无区分能力。
• Gini > 0.6：模型区分能力优秀。
• Gini > 0.8：模型区分能力极强，需警惕过拟合。

4.4 评估指标对比与选择

指标	取值范围	核心含义	催收场景推荐阈值	优点	局限性
AUC	[0.5, 1.0]	整体排序能力	> 0.75	阈值无关，综合性强	对类别不平衡不敏感
KS	[0, 1.0]	最大区分点	0.2 - 0.5	直观显示最佳切分点	仅关注单一阈值
Gini	[-1, 1]	相对随机模型提升	> 0.6	与AUC线性相关，解释性强	对极端值敏感

4.5 验证流程最佳实践

1. 数据划分： 按时间顺序将数据集划分为训练集（60%）、验证集（20%）、测试集（20%）。
2. 交叉验证： 在训练集上执行 Time Series Split 或 Stratified 5-Fold，获取多组验证指标。
3. 指标计算： 在每折验证集上计算 AUC、KS、Gini，取均值作为模型性能基准。
4. 阈值选择： 根据 KS 曲线确定最佳切分点，结合业务成本（如催收人力成本 vs 坏账损失）调整最终阈值。
5. 最终评估： 使用测试集进行一次完整评估，确认模型泛化能力达标后进入上线部署阶段。