📚 课程目录第2章数据划分基础概念

2. 数据划分基础概念：训练集、验证集、测试集的定义与作用

在信用额度定价模型中，数据集的合理划分是模型泛化能力与业务稳定性的基石。错误的划分会导致模型在历史数据上表现优异，但在真实授信场景中却出现严重的偏差（如高估优质客户额度或低估违约风险）。本节将系统阐述三类数据集的定义、核心作用及在信用评分场景中的典型比例。

信用评分模型的开发流程通常将原始样本划分为三个互斥的子集：训练集（Training Set）、验证集（Validation Set） 和 测试集（Test Set）。它们各自承担不同的建模阶段任务，如下表所示：

数据集	定义	核心作用	在信用评分中的典型用途
训练集	用于模型参数学习的样本子集	拟合模型权重，学习特征与目标变量（如违约概率、额度使用率）之间的映射关系	训练逻辑回归、XGBoost 或神经网络，学习客户还款能力与额度敏感度
验证集	用于模型选择与超参数调优的样本子集	评估不同模型结构或超参数（如树深度、正则化系数）的泛化表现，防止过拟合	比较不同分箱策略的 WOE 编码效果，或选择最优的决策树剪枝参数
测试集	用于最终模型性能评估的样本子集	提供无偏的最终性能估计，模拟模型在真实未见数据上的表现	计算 KS 值、AUC、Gini 系数，验证额度定价策略在“新客群”上的稳定性

  关键区别： 验证集参与模型选择过程（间接影响模型），而测试集仅在最终模型确定后使用一次，用于报告模型的预期业务效果。严禁使用测试集进行任何形式的调参或特征筛选。

在信用评分与额度定价领域，数据划分比例并非固定不变，而是取决于样本总量、数据质量以及建模目标。以下是业界常用的三种划分策略及其适用场景：

标准划分（60%-20%-20%）： 适用于样本量充足（通常 > 10 万条）且特征维度适中的场景。训练集占比 60% 可保证模型学习到稳定的模式；验证集与测试集各占 20%，足以进行可靠的调优与评估。
大训练集划分（70%-15%-15%）： 当模型复杂度较高（如深度学习或集成模型）且数据噪声较大时，适当增加训练集比例至 70%，以提供更多样本用于参数学习。验证集与测试集各占 15%，仍能保持评估的统计效力。
小样本划分（80%-10%-10%）： 适用于样本量有限（如 1 万~5 万条）或正样本（违约客户）极度稀缺的场景。此时需最大化训练数据量，但必须配合交叉验证（如 5 折交叉验证）来弥补验证集规模不足的问题。

实务建议： 在信用额度定价模型中，建议优先采用 70%-15%-15% 的划分比例。该比例在多数消费金融与信用卡场景中表现稳健，既能保证模型学习到足够的额度响应模式，又能为验证集保留足够的样本量以进行超参数搜索（如最优的额度上限阈值）。

信用数据天然具有时间序列属性，因此不能简单使用随机划分。下图展示了在信用评分场景中，基于时间顺序的划分流程：

时间穿越（Look-ahead Bias）： 使用未来数据预测过去，例如将 2024 年的样本混入训练集来预测 2023 年的违约行为。在额度定价中，这会导致模型高估额度对风险的敏感度。
客户重叠（Customer Overlap）： 同一客户在不同时间点的申请记录被同时分入训练集和测试集，造成信息泄露。建议以客户 ID 为分组单位进行划分，确保同一客户的所有记录只出现在一个子集中。
样本量不足时的验证集失效： 当验证集样本量少于 5000 条时，超参数调优的结果可能不可靠。此时应使用 时间序列交叉验证（如滚动窗口验证）替代固定验证集。

高风险提示： 在信用额度定价中，如果测试集与训练集的时间窗口过于接近（例如仅相隔 1 个月），模型可能捕捉到短期市场波动而非长期信用规律。建议测试集与训练集之间至少保留 3~6 个月的时间间隔，以模拟模型在“未来新客群”上的真实表现。