4. 样本定义与抽样方法
在模型开发与独立验证中，样本是模型“看见的世界”。样本定义与抽样方法决定了模型学到什么、验证结果能代表谁。若总体、抽样框或抽样机制存在偏差，后续再精细的算法与指标也难以弥补。本节围绕总体与样本、抽样框、概率抽样与非概率抽样、分层抽样、整群抽样展开，帮助你在数据验证中准确判断样本是否可用、结论是否可外推。
4.1 核心原理：总体、样本与抽样框
总体是研究或建模所关注的全部对象集合，例如“某银行全部存量个人消费贷款客户”。样本是从总体中按一定规则抽取的部分对象，用于估计总体特征、训练模型或开展验证。抽样框是实际可用于抽取样本的清单或规则，如客户编号表、贷款合同台账、历史申请记录。抽样框不等于总体：总体是目标，抽样框是操作入口。若抽样框遗漏了某类客户，样本再大也无法覆盖总体。
验证要点：先确认“目标总体—抽样框—实际样本”三者是否一致。任何一环错位，都会导致覆盖偏差或选择偏差。
例如，目标总体是“近12个月所有新申请客户”，但抽样框只包含“已放款客户”，则被拒客户被系统性排除，模型在审批场景中的风险识别能力会被高估。独立验证必须检查抽样框的完整性、时效性与唯一性。
4.2 概率抽样与非概率抽样
概率抽样指每个总体单元都有已知且非零的入样概率，可计算抽样误差，支持统计推断。常见方法包括简单随机抽样、系统抽样、分层抽样、整群抽样和多阶段抽样。非概率抽样入样概率未知，依赖便利、判断或配额，常用于探索性分析，但不宜直接外推到总体。
| 维度 | 概率抽样 | 非概率抽样 |
|---|---|---|
| 入样概率 | 已知且非零 | 未知或主观 |
| 抽样误差 | 可估计 | 不可直接估计 |
| 外推能力 | 支持总体推断 | 通常不支持 |
| 典型方法 | 简单随机、分层、整群、系统 | 便利、判断、配额、滚雪球 |
| 验证适用性 | 优先采用 | 需谨慎并补充偏差分析 |
在模型验证中，若训练集采用非概率抽样，而验证集采用概率抽样，两者分布可能显著不同，导致验证指标失真。此时应通过倾向得分、加权或分层重采样进行校正，并在报告中披露抽样方式。
4.3 分层抽样：提升精度与覆盖
分层抽样先将总体按重要特征划分为若干互不重叠的层，再在每层内独立抽样。分层变量通常选择与目标变量强相关的特征，如风险等级、地区、客户类型、逾期状态。其优势是：保证各层都有代表，降低抽样误差，便于对子群体分别估计。
- 确定分层变量，确保层内同质、层间异质。
- 划分互斥且完备的层，避免遗漏或重叠。
- 确定各层样本量：按比例分配或最优分配。
- 层内独立抽样，合并后计算总体估计与方差。
例如，验证信用评分模型时，按“历史逾期天数”分为正常、关注、次级、可疑四层，并在每层中随机抽取验证样本。这样可确保高风险样本不被淹没，也能分别评估模型在不同风险层的表现。
分层抽样参数示例：
分层变量：risk_level
层：normal / watch / substandard / doubtful
分配方式：按比例分配
层内抽样：简单随机抽样
验证样本量：每层不少于 500 条
4.4 整群抽样：成本与效率的权衡
整群抽样将总体划分为若干群，随机抽取部分群，再对中选群内的全部或部分单元进行调查或建模。群通常是自然形成的集合，如网点、门店、学校、地区。整群抽样实施成本低、组织方便，但群内相关性会增大抽样误差，因此需要更多群或更大样本量来补偿。
与分层抽样相比：分层是“层内抽样、层间全查”，整群是“群间抽样、群内全查”。分层追求精度，整群追求效率。若群内差异大、群间差异小，整群效率较高；若群内高度相似，则设计效应变大，需谨慎使用。
设计效应（DEFF）可用于衡量整群抽样相对于简单随机抽样的方差膨胀。DEFF 明显大于 1 时，应增加群数或调整分析权重。
4.5 案例与场景：验证样本如何设计
假设某消费金融公司要独立验证一套贷前审批模型。目标总体是“近12个月全部新申请客户”，抽样框来自申请系统。若直接采用简单随机抽样，高分段客户占比高，低分段样本不足，模型在低分段的风险识别能力难以验证。更合理的方案是：先按申请评分分段分层，再在每层内随机抽样；同时从各区域网点整群抽取部分申请记录，用于检查区域操作差异。最终样本需覆盖不同评分段、不同区域和不同渠道。
验证报告中应记录：总体定义、抽样框来源与覆盖范围、抽样方法、样本量、分层或整群参数、权重计算方式、实际样本与总体的分布对比。若发现样本在关键变量上与总体差异显著，应进行加权或补充抽样。
4.6 误区与复盘
- 误区一：把抽样框当总体。抽样框遗漏被拒客户、未激活客户或新渠道客户，导致覆盖偏差。
- 误区二：用非概率抽样结果外推总体。便利样本、判断样本不能直接计算总体置信区间。
- 误区三：分层变量与目标无关。分层变量选择不当，无法降低方差，反而增加复杂度。
- 误区四：忽视整群抽样的设计效应。群内相关性被忽略，导致标准误低估、结论过于乐观。
- 误区五：样本量只看总数，不看子群。总体样本量充足，但关键子群样本过少，无法支持分层验证。
复盘建议：在验证启动前，先做“抽样框覆盖检查”和“样本分布对比”。若样本与总体在关键变量上的差异超过预设阈值，应暂停验证，补充抽样或调整权重后再继续。
总之，样本定义与抽样方法不是数据处理的附属步骤，而是模型验证结论能否成立的前提。明确总体、校准抽样框、优先采用概率抽样、合理使用分层与整群设计，并在报告中完整披露抽样过程，才能让独立验证真正具备可信度与可追溯性。