4. 分流方案设计原则：统计显著性、样本量计算、最小可检测效应、置信区间
在催收 A/B 分流方案中，设计原则是确保实验结论可靠、可复现的基石。如果忽略统计原理，分流实验可能得出误导性结论，导致资源错配。本章围绕四个核心统计概念展开：统计显著性、样本量计算、最小可检测效应（MDE）和置信区间。
4.1 统计显著性（Statistical Significance）
统计显著性用于判断观察到的效果差异是否真实存在，还是由随机波动引起。通常用 p 值 衡量：
- p < 0.05：差异在统计上显著，拒绝“无差异”的原假设。
- p ≥ 0.05：差异不显著，不能排除随机因素。
催收场景提示： 催收回收率受客户还款意愿、节假日、催收策略叠加等多因素影响。设定显著性水平 α=0.05 是行业常见做法，但若实验风险较高（如涉及高逾期客群），可收紧至 α=0.01。
4.2 样本量计算（Sample Size Calculation）
样本量不足会导致实验“假阴性”（无法检测到真实效果）；样本量过大则浪费资源。计算样本量需明确以下参数：
| 参数 | 符号 | 说明 | 催收典型值 |
|---|---|---|---|
| 显著性水平 | α | 犯第一类错误（假阳性）的概率 | 0.05 |
| 统计功效 | 1-β | 正确检测到真实效果的概率 | 0.80 或 0.90 |
| 最小可检测效应 | MDE | 能可靠检测到的最小效果差异 | 1% ~ 5% |
| 基线转化率 | p₁ | 对照组当前回收率 | 视客群而定 |
常用样本量计算公式（两组比例检验）：
n = ( (Z_α/2 + Z_β)² × (p₁(1-p₁) + p₂(1-p₂)) ) / (p₂ - p₁)²
其中：
Z_α/2 = 对应显著性水平 α 的双侧 Z 值（α=0.05 时 ≈ 1.96）
Z_β = 对应功效 1-β 的 Z 值（功效 0.80 时 ≈ 0.84）
p₁ = 对照组基线回收率
p₂ = 实验组预期回收率
示例： 若当前催收回收率为 12%，期望提升至 14%（MDE=2%），α=0.05，功效=0.80，则每组约需 4,500 个样本。若客群总量不足，需放宽 MDE 或降低功效。
4.3 最小可检测效应（Minimum Detectable Effect, MDE）
MDE 是在给定样本量和显著性水平下，实验能够可靠检测到的最小效果差异。MDE 越小，实验越敏感，但所需样本量越大。
- MDE 与样本量成反比： 样本量翻倍，MDE 约缩小至原来的 0.7 倍。
- MDE 与基线波动成正比： 催收回收率波动大（如受宏观经济影响），MDE 需设得更大。
- 催收建议： 对于催收策略优化，MDE 通常设为 1%~3%。若客群规模有限，可接受 5% 的 MDE。
4.4 置信区间（Confidence Interval）
置信区间给出了效果估计的范围，比单纯的 p 值提供更多信息。例如，“实验组回收率比对照组高 1.8%，95% 置信区间为 [0.5%, 3.1%]” 意味着：
- 我们有 95% 的信心认为真实效果落在该区间内。
- 区间下限 > 0，说明效果显著为正。
- 区间宽度反映估计精度：宽度越窄，估计越精确。
常见误区： 置信区间不包含 0 并不等同于“效果很大”。例如，区间 [0.1%, 0.3%] 虽然显著，但实际提升可能微乎其微，业务上无价值。务必结合业务意义判断。
4.5 四原则联动决策框架
在催收分流方案设计中，四个原则需协同使用：
4.6 催收分流实验设计检查清单
| 步骤 | 检查项 | 催收注意事项 |
|---|---|---|
| 1 | 明确基线回收率 | 使用最近 3~6 个月数据，排除季节异常 |
| 2 | 设定 MDE | 通常 1%~3%，客群小可放宽至 5% |
| 3 | 计算所需样本量 | 使用公式或在线计算器，预留 10% 损耗 |
| 4 | 确认样本量可行 | 若不足，考虑延长实验周期或合并客群 |
| 5 | 设定显著性水平 | 默认 α=0.05，高风险实验 α=0.01 |
| 6 | 实验后计算置信区间 | 优先报告区间而非仅 p 值 |
最佳实践： 在催收 A/B 分流方案上线前，将上述检查清单纳入实验设计文档，由数据团队和业务团队共同评审。确保实验设计在统计上严谨，在业务上可行。