2. 实验设计原则：A/B测试的统计学基础与信用评分特殊约束
在信用评分场景下，A/B测试（Champion/Challenger实验）并非简单的流量切分。评分卡模型直接影响信贷审批、额度定价与坏账损失，因此实验设计必须兼顾统计严谨性与业务安全性。本节从假设检验三要素出发，再引入信用评分特有的样本量、时间窗口与风险约束。
2.1 假设检验三要素：显著性水平、统计功效与效应量
任何A/B测试都围绕一个核心问题：观察到的指标差异是真实效果，还是随机波动？假设检验通过以下三个参数回答该问题。
| 参数 | 符号 | 定义 | 信用评分典型值 |
|---|---|---|---|
| 显著性水平 | α | 原假设为真时错误拒绝的概率（假阳性） | 0.05 或 0.01（更保守） |
| 统计功效 | 1-β | 备择假设为真时正确拒绝原假设的概率 | 0.80 或 0.90 |
| 最小可检测效应量 | δ | 业务上有意义的最小指标变化（如拒绝率降低 0.5%） | 由业务方与风控共同定义 |
关键理解： α 控制“误杀好模型”的风险，1-β 控制“漏掉好模型”的风险。在信用评分中，α 通常取 0.01 而非 0.05，因为错误上线一个更差的模型可能导致数千万坏账。
2.2 样本量计算：从公式到信用评分场景
样本量由 α、1-β、δ 以及指标方差共同决定。对于二分类指标（如逾期率、通过率），常用公式为：
n = (Z_{α/2} + Z_β)² × [p₁(1-p₁) + p₂(1-p₂)] / (p₁ - p₂)²其中：
Z_{α/2}：对应显著性水平的双侧分位数（α=0.05 时取 1.96）Z_β：对应功效的分位数（功效=0.80 时取 0.84）p₁：Champion 模型的预期逾期率p₂：Challenger 模型的目标逾期率
信用评分特殊约束 #1： 样本量不能仅按统计公式计算，还需满足 最低坏样本数（通常要求各分组至少 50–100 个坏样本），否则逾期率估计方差过大，检验失效。
下表展示不同参数组合下的最小样本量（单组）：
| Champion 逾期率 p₁ | Challenger 逾期率 p₂ | 效应量 δ | α=0.05, 功效=0.80 | α=0.01, 功效=0.90 |
|---|---|---|---|---|
| 3.0% | 2.7% | -0.3% | ≈ 18,500 | ≈ 32,100 |
| 3.0% | 2.5% | -0.5% | ≈ 6,700 | ≈ 11,600 |
| 5.0% | 4.5% | -0.5% | ≈ 8,200 | ≈ 14,200 |
2.3 时间窗口约束：表现期与观察期
信用评分 A/B 测试不能像互联网产品那样“上线几小时看转化率”。逾期、坏账等核心指标需要足够长的表现期（Outcome Window）才能观测到。
- 短期指标（1–3 个月）： 首期逾期率（DPD1+）、审批通过率、平均额度。适合快速迭代验证。
- 中期指标（6–12 个月）： 滚动逾期率（DPD30+）、迁移率。用于评估模型区分度。
- 长期指标（12–24 个月）： 坏账率、回收率。最终决定模型是否全量上线。
信用评分特殊约束 #2： 实验时间窗口必须覆盖至少一个完整的经济周期或季节性周期（如春节、双十一）。若只跑 3 个月，可能因季节性波动得出错误结论。
2.4 业务风险约束：止损机制与分流比例
信用评分实验不能“All in” Challenger。必须设置动态止损线与保守分流比例。
| 风险维度 | 约束规则 | 典型阈值 |
|---|---|---|
| 最大流量暴露 | Challenger 组流量不超过总流量的 20%–30% | 20%（高风险模型）/ 30%（低风险模型） |
| 实时监控指标 | 每日监控通过率、平均分、首期逾期率 | 通过率偏差 > 5% 触发告警 |
| 硬性止损线 | Challenger 逾期率显著高于 Champion 时立即暂停 | p₂ - p₁ > 0.5% 且 p < 0.05 |
| 样本量下限 | 各分组至少积累 50 个坏样本后才做中期检验 | 50（最小）/ 100（推荐） |
2.5 实验设计流程总览
将以上要素整合为信用评分 A/B 测试的标准设计流程：
- 定义核心指标： 明确主要指标（如 6 个月逾期率）与次要指标（通过率、平均分）。
- 设定效应量 δ： 与业务方对齐“最小业务有意义差异”。
- 计算样本量： 使用公式 + 坏样本下限，确定所需申请量。
- 确定时间窗口： 根据指标类型设定最短表现期（如 6 个月）。
- 设计分流方案： 按 80/20 或 70/30 分流，确保 Champion 与 Challenger 在时间、客群上同分布。
- 设置监控与止损： 部署实时看板与自动告警规则。
- 预注册分析计划： 固定检验方法、分组变量、多重比较校正方案。
信用评分特殊约束 #3： 预注册分析计划在信用评分中尤为重要。若在跑完实验后根据数据表现“挑选”检验方法或分组方式，会导致 p-hacking，使假阳性率失控。
2.6 信用评分 A/B 测试的统计检验选择
根据指标类型选择对应的检验方法：
| 指标类型 | 示例 | 推荐检验方法 | 注意事项 |
|---|---|---|---|
| 二分类比率 | 逾期率、通过率 | Z 检验 / 卡方检验 | 需满足正态近似条件（np ≥ 5, n(1-p) ≥ 5） |
| 连续型指标 | 平均信用分、平均额度 | 独立样本 t 检验 | 若分布严重偏态，考虑 Mann-Whitney U 检验 |
| 时间序列指标 | 月度迁移率 | DID（双重差分）或 CausalImpact | 需控制时间趋势与季节性 |
| 多重指标 | 同时比较 5 个逾期指标 | Bonferroni / Holm 校正 | 控制族系错误率（FWER） |
信用评分特殊约束 #4： 信用评分指标通常高度相关（如 DPD1+ 与 DPD30+ 逾期率）。若对多个相关指标分别做检验而不做多重比较校正，假阳性率会急剧膨胀。建议使用 Bonferroni 校正 或 FDR 控制。
2.7 本章小结：实验设计检查清单
在进入下一章（分流与数据管道）之前，请确保你的实验设计方案已通过以下检查：
- ✅ 主要指标与次要指标已明确定义，且与业务目标对齐
- ✅ 效应量 δ 已与风控、业务方达成共识
- ✅ 样本量满足统计功效要求，且各分组坏样本数 ≥ 50
- ✅ 时间窗口覆盖至少一个完整季节性周期
- ✅ Challenger 流量 ≤ 30%，且设有硬性止损线
- ✅ 预注册了检验方法、分组变量与多重比较校正方案
- ✅ 监控看板已部署，告警阈值已配置
实战建议： 将以上检查清单写入实验设计文档，并在实验启动前由独立评审方（如模型风险管理团队）签字确认。这是信用评分领域应对监管审计的最佳实践。