2、样本构建基础:样本构建的目标、样本与总体、样本的代表性要求

在风险定价模型中,样本构建是决定模型泛化能力与业务落地效果的第一道关卡。如果样本本身存在偏差,后续无论采用多么先进的算法,都无法弥补数据层面的系统性缺陷。本节将围绕样本构建的三大核心问题展开:我们为什么要构建样本?样本与总体之间存在怎样的关系?如何确保样本能够真实反映总体特征?

2.1 样本构建的目标

样本构建并非简单的数据抽取,而是为了在有限的计算资源和业务时间内,尽可能准确地估计总体参数或预测总体行为。在风险定价场景中,样本构建的核心目标可归纳为以下四点:

目标维度 具体描述 风险定价示例
参数估计 用样本统计量(如违约率均值、损失率方差)推断总体真实参数 通过10万笔历史贷款样本估计全量客户的预期损失率
模型训练 提供足够且多样化的数据供算法学习风险特征与定价之间的关系 构建逻辑回归模型时,样本需覆盖不同信用评分段的客户
假设检验 验证不同客群或不同定价策略下的风险差异是否统计显著 检验“首贷客户”与“复贷客户”的违约率是否存在显著差异
成本控制 在数据采集、存储、标注成本与模型精度之间取得平衡 避免对全量千万级客户进行人工标注,仅抽取代表性子集
实战提示:在风险定价项目中,样本构建的优先级排序通常是:模型训练 > 参数估计 > 假设检验 > 成本控制。如果样本无法支撑模型训练,其他目标将失去意义。

2.2 样本与总体的关系

总体(Population)是研究对象的全体集合,而样本(Sample)是从总体中抽取的一部分个体。在风险定价中,总体通常定义为“所有可能申请贷款并接受定价的客户”,而样本则是“历史已发生借贷行为且数据完整的客户记录”。

理解样本与总体的关系,需要把握以下三个关键差异:

  • 时间维度差异:总体包含未来尚未发生的借贷行为,样本仅包含历史已发生的数据。这意味着样本永远无法完全覆盖总体中的“未来客群”。
  • 选择偏差差异:总体中的客户是理论上的全量,而样本往往受到业务渠道、审批策略、数据缺失等因素的影响,天然存在选择偏差。
  • 分布一致性差异:理想情况下样本分布应近似总体分布,但现实中由于数据采集成本或业务限制,样本分布往往与总体分布存在偏移。
核心公式:样本估计量 = 总体参数 + 抽样误差 + 非抽样误差。抽样误差可通过增大样本量或优化抽样方法降低,而非抽样误差(如数据录入错误、定义不一致)则需要通过数据治理解决。
样本与总体关系示意图 总体(Population) 所有可能申请贷款并接受定价的客户 包含:历史客户 + 当前客户 + 未来潜在客户 样本(Sample) 历史已发生借贷且数据完整的客户 抽样 推断 样本与总体之间的偏差来源 抽样误差(随机性) + 选择偏差(业务限制) + 时间偏移(客群演变) 目标:通过科学抽样与样本加权,使样本尽可能逼近总体分布

2.3 样本的代表性要求

样本代表性(Representativeness)是指样本在关键特征上的分布与总体保持一致。在风险定价中,如果样本缺乏代表性,模型将产生系统性偏差,导致定价过高(损失优质客户)或定价过低(承担超额风险)。

样本代表性需要满足以下四个层次的要求:

  1. 特征分布一致性:样本中每个关键特征(如年龄、收入、信用评分、贷款金额)的分布应与总体一致。例如,总体中30岁以下客户占比40%,样本中该比例不应偏离过大。
  2. 风险分布覆盖性:样本必须覆盖总体中所有风险等级,尤其是尾部高风险客群。如果样本中仅包含低风险客户,模型将无法学习到违约模式。
  3. 时间稳定性:样本应包含足够长的时间窗口,以捕捉经济周期、政策变化对风险的影响。通常建议至少覆盖2-3个完整的经济周期。
  4. 样本量充足性:样本量需满足统计显著性和模型复杂度的要求。对于风险定价模型,每个特征至少需要10-20个违约样本,总样本量建议不低于10,000条。
常见陷阱:很多团队在构建样本时只关注样本量大小,却忽略了样本的代表性。一个包含100万条“优质客户”数据的样本,其模型效果可能远不如一个包含5万条“全客群”数据的样本。务必在构建样本前进行总体分布分析。

2.4 样本代表性评估方法

在构建样本后,需要通过定量方法评估其代表性。以下是三种常用的评估手段:

评估方法 原理 适用场景 阈值参考
KS检验 比较样本与总体在连续变量上的累积分布差异 收入、年龄、信用评分等连续特征 KS统计量 < 0.1 表示代表性良好
卡方检验 比较样本与总体在分类变量上的频数分布差异 职业、地区、产品类型等分类特征 p值 > 0.05 表示无显著差异
PSI(群体稳定性指数) 衡量样本与总体在各分箱上的占比变化 模型监控、样本时间偏移检测 PSI < 0.1 表示稳定性高
样本代表性评估流程 总体分布 全量客户特征 样本分布 抽取后特征 统计检验 KS / 卡方 / PSI 通过 / 拒绝 未通过:重新抽样或样本加权 评估决策规则 • 所有关键特征均通过检验 → 样本代表性合格,进入模型训练 • 部分特征未通过 → 使用样本加权(如逆概率加权)或分层抽样修正 • 多数特征未通过 → 重新审视抽样策略,检查数据采集偏差

2.5 样本构建的实战原则

结合风险定价业务的实际经验,样本构建应遵循以下五项原则:

  • 业务理解先行:在抽样前,必须与业务团队确认总体的定义边界。例如,“新客”是否包含渠道预授信客户?“老客”是否包含已结清客户?
  • 分层抽样为主:对于风险定价模型,建议按风险等级(如信用评分区间)进行分层抽样,确保各风险层均有足够样本,尤其是高风险层应适当过采样。
  • 时间窗口对齐:训练样本与验证样本应来自同一时间窗口,避免用疫情前的样本预测疫情后的风险。
  • 拒绝推断纳入:对于审批被拒的客户,应通过拒绝推断(Reject Inference)技术补充其潜在风险标签,否则样本将缺失高风险客群。
  • 持续监控更新:样本构建不是一次性工作。模型上线后,需定期(如每月)评估样本与当前总体的一致性,发现偏移及时重建。
样本构建检查清单:
✅ 总体定义是否与业务目标一致?
✅ 样本是否覆盖所有风险等级?
✅ 样本时间窗口是否包含完整经济周期?
✅ 是否进行了拒绝推断处理?
✅ 样本量是否满足模型复杂度要求?
✅ 是否通过KS/卡方/PSI检验?