2. 催收A/B测试核心要素：实验组与对照组、随机化原则、单一变量原则、样本量估算
催收A/B测试并非简单的“发两组短信看效果”，其背后有一套严谨的统计学框架。若核心要素缺失，测试结果将充满噪声，甚至得出完全相反的结论。本节将拆解四个必须严格把控的要素：实验组与对照组、随机化原则、单一变量原则以及样本量估算。
💡 核心认知： A/B测试的本质是“反事实推断”。对照组的存在，就是为了回答一个无法直接观测的问题——“如果这批客户没有被施加新策略，他们的表现会怎样？”
2.1 实验组与对照组：因果推断的基石
在催收场景中，实验组（Treatment Group）接受新的催收策略（如新的IVR话术、不同时段的催收短信），对照组（Control Group）则维持现有策略或不做任何干预。两组在测试期结束后，通过对比关键指标（如首日还款率、承诺还款率）的差异，来量化新策略的真实效果。
| 维度 | 实验组 | 对照组 |
|---|---|---|
| 定义 | 施加新策略的客户群 | 维持原策略或空白策略的客户群 |
| 作用 | 观察新策略下的表现 | 提供“如果没有新策略”的基准线 |
| 规模要求 | 通常与对照组按比例分配（如1:1） | 不能过小，否则基准线不稳定 |
| 常见误区 | 将历史同期数据作为对照组 | 对照组受到其他策略的交叉干扰 |
⚠️ 避坑指南： 严禁使用“历史同期数据”作为对照组。催收效果受节假日、宏观经济、客群结构变化等时间因素影响极大。只有同期随机分组才能消除时间偏差。
2.2 随机化原则：消除选择偏差的武器
随机化是A/B测试的灵魂。它确保实验组和对照组在年龄、逾期天数、历史还款行为、地域分布等所有已知和未知特征上，在统计意义上没有系统性差异。只有通过随机化，我们才能将还款率的差异归因于策略本身，而非客群质量的不同。
催收场景下的随机化实施步骤通常如下：
- 确定实验池： 筛选出符合本次测试条件的全部客户（如M1逾期、有联系方式、非黑名单）。
- 生成随机数： 为每个客户生成一个均匀分布的随机数（如0-1之间）。
- 分组映射： 将随机数小于0.5的划入实验组，大于等于0.5的划入对照组（或按其他预设比例）。
- 分层随机化（进阶）： 若担心某个关键变量（如逾期天数）在两组中失衡，可先按该变量分层，再在层内进行随机化。
2.3 单一变量原则：确保归因的纯净性
单一变量原则要求实验组和对照组之间仅有一个策略变量不同。如果同时改变了催收短信的文案、发送时间、发送频率，那么即使实验组表现更好，也无法确定究竟是哪个改动起了作用。
催收测试中常见的变量污染场景：
- 复合策略： 新话术 + 新外呼时段同时上线，无法区分效果来源。
- 渠道叠加： 实验组同时收到短信和AI外呼，对照组只收到短信，差异包含了渠道增量。
- 人为干预： 催收员知道客户在实验组，主观上更努力催收（霍桑效应）。
✅ 最佳实践： 如果确实需要测试“新话术+新时段”的组合效果，应设计为多臂测试（Multi-arm Test）：设置A组（原话术+原时段）、B组（新话术+原时段）、C组（原话术+新时段）、D组（新话术+新时段）。通过对比B vs A、C vs A、D vs A，分别拆解出话术、时段及交互效应。
2.4 样本量估算：统计功效的保障
样本量过小，测试结果可能因随机波动而不可靠（低统计功效）；样本量过大，则浪费资源，且可能将微小但无业务意义的差异判定为显著。样本量估算的核心公式基于显著性水平（α）、统计功效（1-β）、基准转化率和最小可检测效应量（MDE）。
催收场景下，常用简化公式（基于两样本比例检验）进行估算：
n = (Z_α/2 + Z_β)² × [p₁×(1-p₁) + p₂×(1-p₂)] / (p₂ - p₁)²
其中：
- n = 每组所需样本量
- Z_α/2 = 显著性水平对应的Z值（α=0.05时，Z=1.96）
- Z_β = 统计功效对应的Z值（功效=80%时，Z=0.84）
- p₁ = 对照组预期还款率（基准值）
- p₂ = 实验组预期还款率（p₁ + MDE）
以下为不同场景下的样本量估算参考表（假设α=0.05，功效=80%）：
| 对照组基准还款率 | 最小可检测效应量（MDE） | 每组所需样本量 | 催收场景示例 |
|---|---|---|---|
| 10% | 1%（相对提升10%） | 约 13,800 | M1早期短信策略微调 |
| 10% | 2%（相对提升20%） | 约 3,500 | IVR话术大版本迭代 |
| 30% | 3%（相对提升10%） | 约 2,900 | AI外呼+人工坐席转接策略 |
| 50% | 5%（相对提升10%） | 约 1,050 | 高意向客户的还款提醒 |
⚠️ 常见陷阱： 不要直接套用互联网行业的“2000样本量”经验。催收场景的基准还款率通常较低（如5%-15%），且效应量往往较小（1%-3%），因此需要的样本量远大于常规A/B测试。务必在测试前使用公式或工具进行估算。
2.5 四大要素的协同关系
这四个要素并非孤立存在，它们共同构成了一个闭环：
- 随机化保证了实验组与对照组的可比性，是后续分析的前提。
- 单一变量确保了归因的纯净性，让样本量估算中的效应量（MDE）有明确的业务含义。
- 样本量估算反过来决定了随机化的分组规模是否足够，以及单一变量测试是否有足够的统计灵敏度。