3. 分流策略设计原则
在催收触达A/B分流实验中,策略设计的科学性是实验结论可信的基石。本章聚焦四大核心原则:随机化、样本量计算、最小可检测效应(MDE)和实验周期设定。只有严格遵循这些原则,才能避免“假阳性”或“假阴性”结论,确保上线策略真正优于对照组。
3.1 随机化原则
随机化是分流实验的“第一性原理”。其核心目标是消除选择偏差,确保实验组和对照组在除触达策略外的所有维度(如逾期天数、历史还款率、地域分布)上具有可比性。
关键要求: 随机化必须基于 客户ID 或 案件ID 的哈希值进行,而非按时间窗口或催收员手动分配。推荐使用
mod(CRC32(customer_id), 100) 的方式将客户均匀映射到 [0, 99] 区间,再按预设比例(如 50%:50%)划分实验组与对照组。
随机化分流流程如下图所示:
常见陷阱: 不要使用“按催收员工作量”或“按案件创建时间奇偶”进行分流。前者会引入催收员能力偏差,后者会受日间还款规律影响,均破坏随机性。
3.2 样本量计算
样本量不足会导致实验“统计功效”过低,无法检测出真实存在的策略差异。样本量计算依赖以下参数:
| 参数 | 符号 | 说明 | 催收场景典型值 |
|---|---|---|---|
| 显著性水平 | α | 犯第一类错误(假阳性)的概率 | 0.05 |
| 统计功效 | 1-β | 正确检测出真实差异的概率 | 0.80 |
| 最小可检测效应 | MDE | 能可靠检测到的最小效果量(绝对值) | 1% ~ 3% |
| 基线转化率 | p₀ | 对照组的基础还款率 | 30% ~ 60% |
对于二分类指标(如“是否还款”),单组所需样本量可通过以下公式估算:
n = (Z_α/2 + Z_β)² × [p₀(1-p₀) + p₁(1-p₁)] / (p₁ - p₀)²
其中:
Z_α/2 = 1.96(对应 α=0.05,双侧检验)
Z_β = 0.84(对应 β=0.20,功效=0.80)
p₀ = 对照组还款率
p₁ = 实验组预期还款率
MDE = |p₁ - p₀|
实操建议: 在催收场景中,若对照组还款率为 40%,期望检测 2% 的绝对提升(MDE=2%),则单组约需 3,800 个样本,两组共约 7,600 个案件。建议在此基础上上浮 20% 以应对数据缺失或退件。
3.3 最小可检测效应(MDE)
MDE 是实验设计中最关键的“经济性”参数。它决定了实验的“分辨率”——即策略需要带来多大的效果提升,才能被统计方法可靠地识别出来。
MDE 与样本量的关系呈非线性反比:
- MDE 越小(如 0.5%),所需样本量呈指数级增长,可能导致实验周期过长或成本过高。
- MDE 越大(如 5%),所需样本量小,但可能错过“小而有效”的策略优化机会。
催收场景中 MDE 的选取原则:
| 策略类型 | 推荐 MDE | 理由 |
|---|---|---|
| 话术/短信文案优化 | 1% ~ 2% | 边际提升通常较小,需精细检测 |
| 触达频次/时段调整 | 2% ~ 3% | 效果波动较大,可接受稍大 MDE |
| 全新催收渠道(如 AI 外呼) | 3% ~ 5% | 预期效果显著,快速验证可行性 |
决策流程: 先根据业务容忍度确定 MDE → 再反推所需样本量 → 结合每日案件流入量计算实验周期。切勿先定周期再凑样本量,否则极易导致 MDE 过大而失去实验意义。
3.4 实验周期设定
实验周期需要平衡统计充分性与业务时效性。周期过短可能因“新奇效应”或“季节性”得到偏差结论;周期过长则延误策略上线,造成机会成本损失。
周期设定的三个核心考量:
- 样本量达标时间: 根据每日新增案件量,计算达到所需样本量的天数。公式:
所需天数 = 单组所需样本量 / 日均案件量 × 2(两组合计)。 - 完整还款周期: 催收实验必须覆盖至少一个完整的“触达→还款”周期。对于 M1 案件,建议至少 7 天;对于 M3+ 案件,建议至少 14 天。
- 避免节假日/大促干扰: 若实验期跨越春节、双十一等特殊时段,需延长周期以稀释异常波动,或单独分层分析。
周期设定的推荐模板:
| 案件类型 | 最小实验周期 | 推荐周期 | 备注 |
|---|---|---|---|
| M1(逾期 1-30 天) | 7 天 | 14 天 | 包含 2 个完整周末 |
| M2(逾期 31-60 天) | 10 天 | 21 天 | 需覆盖 2 个催收轮次 |
| M3+(逾期 61 天以上) | 14 天 | 28 天 | 还款决策周期长,需充分观察 |
重要提醒: 实验开始后 严禁中途调整分组比例或提前停止实验。若因业务紧急必须提前结束,需在实验报告中明确标注“未达预定样本量”,结论仅作参考,不可直接全量上线。
下图总结了四大原则之间的依赖关系:
在实际项目中,建议将上述原则固化为实验设计检查清单,每次启动 A/B 分流前逐项确认,避免因设计缺陷导致整批实验数据作废。