4. 实验设计原则：单一变量原则、样本量估算、最小可检测效应（MDE）设定
催收A/B测试的成败，往往在实验设计阶段就已注定。如果设计阶段忽略了统计学的底层约束，即使上线后跑出“显著”结果，也可能是一次无效实验。本章聚焦三个核心设计原则：单一变量原则保证因果归因的纯净性，样本量估算确保实验有足够的统计效力，最小可检测效应（MDE）则帮助团队在业务效果与实验成本之间找到平衡点。
4.1 单一变量原则：锁定真正的“因”
单一变量原则要求实验组与对照组之间只改变一个因素，其他所有条件（触达时段、话术模板、催收员技能分布、客户分群规则等）保持一致。只有这样，才能将回收率或联系率的差异归因于该变量。
| 常见违规场景 | 问题描述 | 正确做法 |
|---|---|---|
| 同时改话术+改时段 | 无法区分效果来自话术优化还是时段选择 | 先测话术，固定时段；下一轮再测时段 |
| 不同催收员执行不同策略 | 催收员技能差异污染策略效果 | 同一批催收员随机分配两组任务 |
| 实验组使用新系统，对照组用旧系统 | 系统响应速度、界面差异引入混淆变量 | 两组使用同一系统，仅策略参数不同 |
| 分群规则不一致 | 两组客户逾期天数分布不同 | 按逾期天数分层后，层内随机分流 |
实操建议：在实验上线前，使用“变量检查清单”逐项核对两组在触达渠道、频次上限、催收员经验、系统版本、数据口径上是否完全一致。任何一项不一致，都应标记为风险项并修正后再启动实验。
4.2 样本量估算：实验需要多少客户？
样本量不足会导致实验“假阴性”——策略明明有效，统计检验却显示不显著。样本量估算需要四个输入参数：
- 基准转化率（p₀）：对照组当前的回收率或联系率。
- 最小可检测效应（MDE）：你希望检测到的最小绝对提升。
- 显著性水平（α）：通常取 0.05，代表犯第一类错误（假阳性）的概率。
- 统计效力（1-β）：通常取 0.80，代表当真实效果存在时，实验能检测到它的概率。
对于催收场景中常见的二分类指标（是否还款、是否接通），样本量估算公式为：
n = (Z_(1-α/2) + Z_(1-β))² × [p₀(1-p₀) + p₁(1-p₁)] / (p₁ - p₀)²
其中：
Z_(1-α/2) = 1.96（α=0.05 时）
Z_(1-β) = 0.84（效力=0.80 时）
p₀ = 对照组基准转化率
p₁ = 实验组预期转化率（p₀ + MDE）
快速参考表（α=0.05, 效力=0.80）：
| 基准转化率 p₀ | MDE = 1% | MDE = 2% | MDE = 3% | MDE = 5% |
|---|---|---|---|---|
| 5% | 约 7,300 | 约 1,830 | 约 815 | 约 295 |
| 10% | 约 13,800 | 约 3,460 | 约 1,540 | 约 555 |
| 20% | 约 24,600 | 约 6,150 | 约 2,735 | 约 985 |
| 30% | 约 32,200 | 约 8,060 | 约 3,580 | 约 1,290 |
表中数字为每组所需样本量。催收场景中基准转化率通常较低（5%-20%），若MDE设定过小，样本量需求会急剧上升，超出实际可触达客户池。
4.3 最小可检测效应（MDE）设定：业务与统计的博弈
MDE 是实验能够以给定统计效力检测到的最小真实效果。设定 MDE 时需要在业务价值与实验成本之间做权衡：
- MDE 越小 → 能发现更细微的策略优化 → 但需要的样本量越大，实验周期越长。
- MDE 越大 → 实验门槛降低，样本量需求小 → 但可能错过中等幅度的有效策略。
催收场景中建议的 MDE 设定参考：
| 策略类型 | 典型 MDE 范围 | 说明 |
|---|---|---|
| 话术微调（开场白、语气） | 1% - 2% | 效果通常较小，需较大样本 |
| 触达时段优化 | 2% - 4% | 时段对联系率影响较明显 |
| 渠道切换（短信→电话） | 3% - 5% | 渠道差异大，MDE可适当放宽 |
| 催收策略大改（如分群策略） | 5% - 8% | 预期效果显著，样本量压力小 |
常见陷阱：不要为了“让实验看起来可行”而人为放大 MDE。如果业务方要求检测 1% 的提升，但样本量只够检测 5% 的效果，实验结论将毫无意义。此时要么扩大样本量，要么接受更粗粒度的检测能力。
4.4 三原则联动：从设计到执行的完整流程
下图展示了三个原则在实验设计阶段的串联关系：
4.5 催收场景中的特殊考量
- 客户池有限：当逾期客户总数不足时，优先保证对照组样本量，实验组可适当缩小，但需使用非等比例分配（如 1:2 或 1:3）并调整统计检验方法。
- 时间窗口约束：催收实验通常以 7 天或 30 天为观察期。如果样本量要求过大导致实验周期超过业务容忍度，应考虑降低统计效力至 0.70 或放宽 MDE。
- 多重比较问题：如果同时测试多个策略变体（如 A/B/C/D），需对显著性水平做 Bonferroni 校正（α' = α / 比较次数），这会进一步增加样本量需求。
检查清单：实验设计阶段自检
- ☐ 实验组与对照组是否只改变一个变量？
- ☐ 是否已根据基准转化率和 MDE 计算出所需样本量？
- ☐ 当前客户池是否满足样本量需求？若不满足，是否已调整 MDE 或统计效力？
- ☐ 是否已考虑多重比较校正？
- ☐ 实验观察期是否与业务考核周期对齐？