3. 分流策略设计原则

在催收触达A/B分流实验中,策略设计的科学性是实验结论可信的基石。本章聚焦四大核心原则:随机化、样本量计算、最小可检测效应(MDE)和实验周期设定。只有严格遵循这些原则,才能避免“假阳性”或“假阴性”结论,确保上线策略真正优于对照组。

3.1 随机化原则

随机化是分流实验的“第一性原理”。其核心目标是消除选择偏差,确保实验组和对照组在除触达策略外的所有维度(如逾期天数、历史还款率、地域分布)上具有可比性。

关键要求: 随机化必须基于 客户ID 或 案件ID 的哈希值进行,而非按时间窗口或催收员手动分配。推荐使用 mod(CRC32(customer_id), 100) 的方式将客户均匀映射到 [0, 99] 区间,再按预设比例(如 50%:50%)划分实验组与对照组。

随机化分流流程如下图所示:

随机化分流流程 全量待催客户池 CRC32(customer_id) mod 100 均匀映射至 [0, 99] 实验组(新策略) 对照组(原策略) 关键:确保两组在逾期天数、历史还款率等协变量上分布一致
常见陷阱: 不要使用“按催收员工作量”或“按案件创建时间奇偶”进行分流。前者会引入催收员能力偏差,后者会受日间还款规律影响,均破坏随机性。

3.2 样本量计算

样本量不足会导致实验“统计功效”过低,无法检测出真实存在的策略差异。样本量计算依赖以下参数:

参数 符号 说明 催收场景典型值
显著性水平 α 犯第一类错误(假阳性)的概率 0.05
统计功效 1-β 正确检测出真实差异的概率 0.80
最小可检测效应 MDE 能可靠检测到的最小效果量(绝对值) 1% ~ 3%
基线转化率 p₀ 对照组的基础还款率 30% ~ 60%

对于二分类指标(如“是否还款”),单组所需样本量可通过以下公式估算:

n = (Z_α/2 + Z_β)² × [p₀(1-p₀) + p₁(1-p₁)] / (p₁ - p₀)²

其中:
  Z_α/2 = 1.96(对应 α=0.05,双侧检验)
  Z_β   = 0.84(对应 β=0.20,功效=0.80)
  p₀    = 对照组还款率
  p₁    = 实验组预期还款率
  MDE   = |p₁ - p₀|
实操建议: 在催收场景中,若对照组还款率为 40%,期望检测 2% 的绝对提升(MDE=2%),则单组约需 3,800 个样本,两组共约 7,600 个案件。建议在此基础上上浮 20% 以应对数据缺失或退件。

3.3 最小可检测效应(MDE)

MDE 是实验设计中最关键的“经济性”参数。它决定了实验的“分辨率”——即策略需要带来多大的效果提升,才能被统计方法可靠地识别出来。

MDE 与样本量的关系呈非线性反比:

  • MDE 越小(如 0.5%),所需样本量呈指数级增长,可能导致实验周期过长或成本过高。
  • MDE 越大(如 5%),所需样本量小,但可能错过“小而有效”的策略优化机会。

催收场景中 MDE 的选取原则:

策略类型 推荐 MDE 理由
话术/短信文案优化 1% ~ 2% 边际提升通常较小,需精细检测
触达频次/时段调整 2% ~ 3% 效果波动较大,可接受稍大 MDE
全新催收渠道(如 AI 外呼) 3% ~ 5% 预期效果显著,快速验证可行性
决策流程: 先根据业务容忍度确定 MDE → 再反推所需样本量 → 结合每日案件流入量计算实验周期。切勿先定周期再凑样本量,否则极易导致 MDE 过大而失去实验意义。

3.4 实验周期设定

实验周期需要平衡统计充分性与业务时效性。周期过短可能因“新奇效应”或“季节性”得到偏差结论;周期过长则延误策略上线,造成机会成本损失。

周期设定的三个核心考量:

  1. 样本量达标时间: 根据每日新增案件量,计算达到所需样本量的天数。公式:所需天数 = 单组所需样本量 / 日均案件量 × 2(两组合计)。
  2. 完整还款周期: 催收实验必须覆盖至少一个完整的“触达→还款”周期。对于 M1 案件,建议至少 7 天;对于 M3+ 案件,建议至少 14 天。
  3. 避免节假日/大促干扰: 若实验期跨越春节、双十一等特殊时段,需延长周期以稀释异常波动,或单独分层分析。

周期设定的推荐模板:

案件类型 最小实验周期 推荐周期 备注
M1(逾期 1-30 天) 7 天 14 天 包含 2 个完整周末
M2(逾期 31-60 天) 10 天 21 天 需覆盖 2 个催收轮次
M3+(逾期 61 天以上) 14 天 28 天 还款决策周期长,需充分观察
重要提醒: 实验开始后 严禁中途调整分组比例或提前停止实验。若因业务紧急必须提前结束,需在实验报告中明确标注“未达预定样本量”,结论仅作参考,不可直接全量上线。

下图总结了四大原则之间的依赖关系:

分流策略设计原则依赖关系 ① 随机化 消除选择偏差 ② 样本量计算 确保统计功效 ③ 最小可检测效应 决定实验分辨率 ④ 实验周期设定 平衡充分性与时效性 反馈调整 四大原则环环相扣:随机化是前提,MDE 决定样本量,样本量决定周期,周期约束又可能倒逼 MDE 调整

在实际项目中,建议将上述原则固化为实验设计检查清单,每次启动 A/B 分流前逐项确认,避免因设计缺陷导致整批实验数据作废。