3. A/B分流核心概念:实验组与对照组、分流比例、随机化原则、分流单元定义
A/B分流是催收策略迭代的“黄金标准”。在催收场景中,我们无法同时看到同一笔案件在“旧策略”和“新策略”下的表现,因此必须通过科学的分流机制,构建两个可比较的样本集合,从而量化策略的真实效果差异。本章将拆解A/B分流的四个核心概念,为后续的方案设计打下理论基础。
3.1 实验组与对照组
在催收A/B测试中,实验组(Treatment Group) 是应用新催收策略的案件集合;对照组(Control Group) 是沿用现有策略(或空白策略)的案件集合。两组在除策略变量外的所有特征上应保持统计一致。
| 维度 | 实验组 | 对照组 |
|---|---|---|
| 策略变量 | 新策略(如:AI外呼+人工跟进) | 旧策略(如:纯人工外呼) |
| 样本规模 | 通常占总样本的 50% 或更少 | 通常占总样本的 50% 或更多 |
| 评估指标 | 回收率、接通率、投诉率等 | 与实验组完全相同的指标 |
| 作用 | 验证新策略是否优于旧策略 | 提供基准线,消除时间/环境偏差 |
关键原则:对照组不是“不催收”,而是“按现有最佳策略催收”。在催收场景中,空白对照组(完全不催收)仅在极少数合规测试中使用,且需严格监控道德风险。
3.2 分流比例
分流比例决定了实验组与对照组各自分配的案件数量占比。常见的比例有 50:50、70:30、80:20 等。选择比例时需平衡统计功效与业务风险。
- 50:50:统计功效最高,适合高风险策略验证(如:更换催收供应商)。
- 70:30:兼顾实验效果与业务收益,适合中等风险策略优化(如:调整外呼时段)。
- 80:20:最小化实验对整体回收的影响,适合低风险策略微调(如:修改IVR话术)。
避坑提示:分流比例不是固定不变的。当实验组出现显著负向效果(如投诉率飙升)时,应立即触发熔断机制,将实验组比例降为 0%,或切换回对照组策略。
3.3 随机化原则
随机化是A/B分流的灵魂。其核心目标是:确保每个案件被分配到实验组或对照组的概率相等,且分配结果与其他变量(如逾期天数、金额、历史行为)无关。
常见的随机化方法包括:
- 简单随机分配:基于案件ID或时间戳的哈希取模。实现简单,但在小样本下可能产生组间不平衡。
- 分层随机分配:先按关键特征(如逾期阶段、产品类型)分层,再在每层内随机分配。能有效保证组间结构一致。
- 动态随机分配:根据实时流入的案件特征动态调整分配概率,适用于在线实时分流系统。
实践要点:在催收系统中,推荐使用“案件ID + 固定盐值”的哈希取模方式实现随机化。盐值在实验期间固定,确保同一案件在重复分流时结果一致,避免“漂移”导致的数据污染。
3.4 分流单元定义
分流单元是A/B测试中最容易被忽视但影响最深远的决策。它决定了“一个实验单位”是什么。在催收场景中,常见的分流单元包括:
| 分流单元 | 定义 | 适用场景 | 风险点 |
|---|---|---|---|
| 案件级 | 每笔逾期案件独立分流 | 策略变量不跨案件(如:单案外呼频率) | 同一客户的多笔案件可能进入不同组,产生“交叉污染” |
| 客户级 | 同一客户的所有案件进入同一组 | 策略变量影响客户整体体验(如:催收语气、减免方案) | 客户维度样本量减少,统计功效下降 |
| 催收员级 | 按催收员维度分流 | 评估人效或培训效果(如:新话术培训 vs 旧话术) | 催收员能力差异可能混淆策略效果 |
| 时间片级 | 按时间段(如:每天/每小时)交替策略 | 系统无法支持实时随机分流时的降级方案 | 时间片内的事件(如:节假日)可能引入偏差 |
推荐实践:在大多数催收策略A/B测试中,客户级分流是首选。它避免了同一客户在不同组间被“交叉催收”导致的体验割裂和指标污染。如果必须使用案件级分流,务必在分析时按客户维度进行聚类稳健标准误校正。
3.5 核心概念关系总结
四个概念并非孤立存在,而是构成一个完整的决策链条:
- 先定义分流单元(客户级/案件级/催收员级)—— 决定实验的“原子”。
- 再确定分流比例(如 70:30)—— 平衡统计功效与业务风险。
- 通过随机化原则(哈希取模/分层随机)—— 保证组间可比性。
- 最终形成实验组与对照组 —— 分别执行新旧策略,对比效果。
一句话记忆:“选好单元、定好比例、随机分流、对比两组”——这就是A/B分流的四步心法。