2. 实验设计原则：A/B测试框架、对照组与实验组设置、随机化与分层抽样、最小样本量计算
在商户风险评分卡开发完成后，必须通过严谨的实验设计验证其有效性。本章围绕A/B测试框架，系统阐述对照组与实验组的设置逻辑、随机化与分层抽样的实施方法，以及最小样本量的计算依据，确保评估结论具有统计显著性与业务可解释性。
2.1 A/B测试框架与核心流程
A/B测试是评估风险评分卡效果的标准方法。其核心思想是将商户随机分为两组：一组使用新评分卡（实验组），另一组沿用原有规则或旧模型（对照组），通过对比两组在风险识别率、误报率、逾期率等关键指标上的差异，判断新模型是否显著优于旧方案。
关键原则：除评分卡模型外，两组在数据源、审批流程、阈值设定、观察周期等维度必须保持一致，确保差异仅由模型引起。
标准A/B测试流程包含以下步骤：
- 定义目标指标：如坏账率降低幅度、高风险商户捕获率提升、误杀率控制上限。
- 确定实验周期：通常覆盖至少一个完整业务周期（如30天），避免季节性偏差。
- 样本分割与分组：按随机化或分层抽样方法分配商户。
- 运行实验与数据收集：实时监控两组指标，记录逾期、欺诈、申诉等事件。
- 统计检验与决策：使用双样本比例检验或t检验判断差异显著性，决定是否全量上线。
2.2 对照组与实验组设置
对照组与实验组的设置直接影响实验的可信度。常见设置模式包括：
| 设置模式 | 对照组 | 实验组 | 适用场景 |
|---|---|---|---|
| 旧模型 vs 新模型 | 现有规则引擎或旧评分卡 | 新开发的风险评分卡 | 模型迭代升级 |
| 无模型 vs 有模型 | 纯规则判断（无评分卡） | 引入评分卡辅助决策 | 从0到1建设风控体系 |
| 阈值对比 | 原阈值（如0.6） | 新阈值（如0.5） | 调优决策边界 |
| 特征对比 | 基础特征集 | 新增特征集（如社交网络数据） | 评估特征增量价值 |
避坑提示：对照组与实验组不能共享同一批商户数据，否则会产生“污染效应”。例如，同一商户同时接受新旧两种评分，将无法归因效果。务必保证每个商户只属于一个组。
2.3 随机化与分层抽样
随机化是保证两组可比性的基础。简单随机抽样将商户按固定比例（如7:3）随机分配，但在商户群体高度异质时，可能导致关键特征（如行业、规模、历史风险等级）在两组间分布不均。此时需要引入分层抽样。
分层抽样实施步骤：
- 步骤1：识别分层变量——通常选择与风险高度相关的特征，如商户行业（餐饮、零售、跨境）、历史逾期等级（高、中、低）、交易量级（大、中、小）。
- 步骤2：将商户按分层变量组合划分为若干层（如“餐饮-高风险-大交易量”为一个层）。
- 步骤3：在每个层内独立进行随机分配，确保每层内两组商户比例一致（如7:3）。
- 步骤4：合并各层结果，形成最终的对照组与实验组。
最佳实践：分层变量不宜过多（建议2~3个），否则会导致某些层样本量过小。优先选择与目标指标（如逾期率）相关性最强的特征作为分层依据。
2.4 最小样本量计算
样本量不足会导致统计检验功效过低，无法检测出真实存在的模型效果差异。最小样本量计算需考虑以下参数：
| 参数 | 符号 | 说明 | 典型取值 |
|---|---|---|---|
| 显著性水平 | α | 犯第一类错误（假阳性）的概率 | 0.05 |
| 统计功效 | 1-β | 正确拒绝原假设的概率 | 0.80 |
| 基线转化率 | p₁ | 对照组的目标事件发生率（如逾期率） | 历史均值 |
| 最小可检测效果 | δ | 实验组相比对照组期望提升的绝对值 | 0.01~0.05 |
| 分配比例 | r | 实验组与对照组的样本量比值 | 1:1 或 7:3 |
对于比例类指标（如逾期率），最小样本量计算公式为：
n = ( (Z_α/2 + Z_β)² × (p₁(1-p₁) + p₂(1-p₂)) ) / (p₂ - p₁)²
其中：
p₁ = 对照组基线逾期率
p₂ = 实验组预期逾期率（p₁ - δ）
Z_α/2 = 对应显著性水平的Z值（α=0.05时取1.96）
Z_β = 对应功效的Z值（1-β=0.80时取0.84）
n = 每组所需最小样本量计算示例：假设对照组逾期率 p₁=0.08，期望新模型将逾期率降至 p₂=0.06（δ=0.02），α=0.05，1-β=0.80，则：
n = ( (1.96 + 0.84)² × (0.08×0.92 + 0.06×0.94) ) / (0.02)²
= (7.84 × (0.0736 + 0.0564)) / 0.0004
= (7.84 × 0.13) / 0.0004
= 1.0192 / 0.0004
≈ 2548
即每组至少需要2548个商户样本。
注意事项：
- 若商户总量不足最小样本量，可考虑延长实验周期或降低最小可检测效果δ（但需业务认可）。
- 实际应用中建议在计算结果基础上上浮20%~30%，以应对商户流失、数据缺失等损耗。
- 对于连续型指标（如平均交易金额），需使用对应的连续变量样本量公式。
2.5 实验设计检查清单
在启动实验前，建议逐项确认以下要点：
| 检查项 | 要求 | 通过标准 |
|---|---|---|
| 分组随机性 | 使用随机数生成器或分层抽样 | 两组关键特征分布无显著差异（p>0.05） |
| 样本量充足 | 按公式计算并上浮损耗 | 实际样本量 ≥ 计算值 × 1.2 |
| 实验周期合理 | 覆盖完整业务周期 | 至少30天，包含周末与节假日 |
| 指标定义清晰 | 主指标与辅助指标均已预注册 | 避免实验后选择偏差 |
| 监控机制就绪 | 实时看板与异常告警 | 可及时发现数据采集异常 |
遵循上述实验设计原则，能够最大程度保证商户风险评分卡评估结论的可靠性，为后续模型上线与迭代提供坚实的统计依据。