4. 实验设计原则：样本量计算、最小可检测效应、多重比较问题、分流策略
在额度定价的 A/B 测试中，实验设计直接决定结论的可靠性与业务风险。本章围绕四个核心原则展开：样本量计算确保统计功效充足；最小可检测效应（MDE）定义业务敏感度；多重比较问题控制假阳性膨胀；分流策略保障实验公平与稳定。以下逐一拆解。
4.1 样本量计算
样本量不足会导致测试无法检测到真实差异（假阴性），样本量过大则浪费流量与时间。额度定价场景中，核心指标通常是授信通过率或首笔支用率等二项分布变量。
常用计算公式（基于两样本比例检验）：
n = (Z_α/2 + Z_β)² × [p₁(1-p₁) + p₂(1-p₂)] / (p₁ - p₂)²其中：
- Z_α/2：显著性水平 α 对应的双侧临界值（α=0.05 时取 1.96）
- Z_β：统计功效 1-β 对应的单侧临界值（β=0.2 时取 0.84）
- p₁：对照组预期转化率
- p₂：实验组预期转化率（p₁ + MDE）
额度定价案例： 若当前通过率为 40%，期望提升 1 个百分点（MDE=1%），α=0.05，β=0.2，则每组约需 12,000 个样本。若 MDE 放宽至 2%，样本量可降至约 3,000 组。
4.2 最小可检测效应（MDE）
MDE 是实验能够以给定统计功效检测到的最小真实差异。额度定价中，MDE 受以下因素影响：
- 基线转化率：基线越低，检测相同绝对提升所需样本越大
- 样本量：样本量越大，MDE 越小
- 显著性水平与功效：α 越小或功效越高，MDE 越大
业务上，MDE 应与额度调整的预期收益挂钩。例如，将额度提升 10% 预期带来 1.5% 的支用率提升，则 MDE 应 ≤ 1.5%，否则实验可能漏掉有效策略。
建议： 在实验设计阶段，先确定业务可接受的最小提升幅度，再反推所需样本量，而非先定样本量再算 MDE。
4.3 多重比较问题
当同时比较多个实验组（如不同额度档位）或多个指标时，假阳性概率会显著膨胀。例如，同时比较 5 个额度档位，若每个比较 α=0.05，整体犯 I 类错误的概率约为 1-(1-0.05)⁵ ≈ 22.6%。
常用校正方法：
| 方法 | 原理 | 适用场景 | 额度定价示例 |
|---|---|---|---|
| Bonferroni | α' = α / m（m 为比较次数） | 比较次数少（≤10），且各比较独立 | 比较 3 个额度档位 vs 对照组 |
| Holm-Bonferroni | 逐步递进，比 Bonferroni 更宽松 | 比较次数中等，希望保留更多功效 | 比较 5 个额度档位 |
| FDR（Benjamini-Hochberg） | 控制错误发现率而非家族错误率 | 大量比较（如 20+），允许少量假阳性 | 多指标同时分析（通过率、支用率、逾期率） |
注意： 多重比较校正会降低统计功效。若业务上必须同时测试多个额度档位，建议优先采用 FDR 方法，或设计为分层测试（先筛选再验证）。
4.4 分流策略
分流策略决定用户如何进入实验组与对照组，直接影响实验的内部效度与外部效度。额度定价场景中，常用分流方式包括：
- 完全随机分流：基于用户 ID 哈希或随机数，简单公平，但可能忽略用户分层差异
- 分层随机分流：按风险等级、历史额度、渠道等关键维度分层后随机，减少组间差异
- 聚类分流：以群体（如支行、城市）为单位分流，适用于存在组内相关性的场景
分流策略选择需考虑：
| 策略 | 优点 | 缺点 | 额度定价适用性 |
|---|---|---|---|
| 完全随机 | 实现简单，无偏估计 | 小样本下组间可能不均衡 | 样本量充足时首选 |
| 分层随机 | 降低组间方差，提升灵敏度 | 需预先识别分层变量 | 风险分层明显时强烈推荐 |
| 聚类分流 | 避免组间污染 | 样本量需求更大，功效降低 | 额度策略按区域部署时使用 |
实践建议： 额度定价测试中，推荐采用分层随机分流，以风险等级和当前额度段作为分层变量，确保各实验组在关键维度上可比。
4.5 实验设计流程总览
将上述原则整合为完整流程：
4.6 额度定价实验设计检查清单
启动实验前，逐项确认以下要点：
- 核心指标是否明确（如通过率、支用率、逾期率）？
- MDE是否基于业务预期收益设定？
- 样本量是否满足统计功效 ≥ 80%？
- 分流策略是否考虑了风险分层？
- 多重比较是否已选择校正方法？
- 实验时长是否覆盖完整业务周期（如包含周末与月末）？
- 监控指标是否包含负向指标（如逾期率）？
额度定价实验特别提醒： 额度调整可能影响用户长期行为，建议实验时长至少覆盖 2 个完整账单周期，并设置提前停止规则（如负向指标显著恶化时立即终止）。