3. A/B分流核心概念:实验组与对照组、分流比例、随机化原则、分流单元定义

A/B分流是催收策略迭代的“黄金标准”。在催收场景中,我们无法同时看到同一笔案件在“旧策略”和“新策略”下的表现,因此必须通过科学的分流机制,构建两个可比较的样本集合,从而量化策略的真实效果差异。本章将拆解A/B分流的四个核心概念,为后续的方案设计打下理论基础。

3.1 实验组与对照组

在催收A/B测试中,实验组(Treatment Group) 是应用新催收策略的案件集合;对照组(Control Group) 是沿用现有策略(或空白策略)的案件集合。两组在除策略变量外的所有特征上应保持统计一致。

维度 实验组 对照组
策略变量 新策略(如:AI外呼+人工跟进) 旧策略(如:纯人工外呼)
样本规模 通常占总样本的 50% 或更少 通常占总样本的 50% 或更多
评估指标 回收率、接通率、投诉率等 与实验组完全相同的指标
作用 验证新策略是否优于旧策略 提供基准线,消除时间/环境偏差
关键原则:对照组不是“不催收”,而是“按现有最佳策略催收”。在催收场景中,空白对照组(完全不催收)仅在极少数合规测试中使用,且需严格监控道德风险。

3.2 分流比例

分流比例决定了实验组与对照组各自分配的案件数量占比。常见的比例有 50:50、70:30、80:20 等。选择比例时需平衡统计功效与业务风险。

  • 50:50:统计功效最高,适合高风险策略验证(如:更换催收供应商)。
  • 70:30:兼顾实验效果与业务收益,适合中等风险策略优化(如:调整外呼时段)。
  • 80:20:最小化实验对整体回收的影响,适合低风险策略微调(如:修改IVR话术)。
避坑提示:分流比例不是固定不变的。当实验组出现显著负向效果(如投诉率飙升)时,应立即触发熔断机制,将实验组比例降为 0%,或切换回对照组策略。

3.3 随机化原则

随机化是A/B分流的灵魂。其核心目标是:确保每个案件被分配到实验组或对照组的概率相等,且分配结果与其他变量(如逾期天数、金额、历史行为)无关。

常见的随机化方法包括:

  • 简单随机分配:基于案件ID或时间戳的哈希取模。实现简单,但在小样本下可能产生组间不平衡。
  • 分层随机分配:先按关键特征(如逾期阶段、产品类型)分层,再在每层内随机分配。能有效保证组间结构一致。
  • 动态随机分配:根据实时流入的案件特征动态调整分配概率,适用于在线实时分流系统。
实践要点:在催收系统中,推荐使用“案件ID + 固定盐值”的哈希取模方式实现随机化。盐值在实验期间固定,确保同一案件在重复分流时结果一致,避免“漂移”导致的数据污染。
随机化分流流程示意图 随机化分流流程 案件流入队列 随机化引擎 Hash(案件ID + 盐值) % 100 实验组 新策略(30% 案件) 对照组 旧策略(70% 案件)

3.4 分流单元定义

分流单元是A/B测试中最容易被忽视但影响最深远的决策。它决定了“一个实验单位”是什么。在催收场景中,常见的分流单元包括:

分流单元 定义 适用场景 风险点
案件级 每笔逾期案件独立分流 策略变量不跨案件(如:单案外呼频率) 同一客户的多笔案件可能进入不同组,产生“交叉污染”
客户级 同一客户的所有案件进入同一组 策略变量影响客户整体体验(如:催收语气、减免方案) 客户维度样本量减少,统计功效下降
催收员级 按催收员维度分流 评估人效或培训效果(如:新话术培训 vs 旧话术) 催收员能力差异可能混淆策略效果
时间片级 按时间段(如:每天/每小时)交替策略 系统无法支持实时随机分流时的降级方案 时间片内的事件(如:节假日)可能引入偏差
推荐实践:在大多数催收策略A/B测试中,客户级分流是首选。它避免了同一客户在不同组间被“交叉催收”导致的体验割裂和指标污染。如果必须使用案件级分流,务必在分析时按客户维度进行聚类稳健标准误校正。
分流单元对比:案件级 vs 客户级 分流单元对比:案件级 vs 客户级 案件级分流 客户A - 案件1 客户A - 案件2 客户B - 案件3 客户B - 案件4 同一客户可能进入不同组 → 交叉污染风险高 客户级分流 客户A - 案件1 + 案件2(同一组) 客户B - 案件3 + 案件4(同一组) 同一客户所有案件进入同一组 → 消除交叉污染,体验一致

3.5 核心概念关系总结

四个概念并非孤立存在,而是构成一个完整的决策链条:

  1. 先定义分流单元(客户级/案件级/催收员级)—— 决定实验的“原子”。
  2. 再确定分流比例(如 70:30)—— 平衡统计功效与业务风险。
  3. 通过随机化原则(哈希取模/分层随机)—— 保证组间可比性。
  4. 最终形成实验组与对照组 —— 分别执行新旧策略,对比效果。
一句话记忆:“选好单元、定好比例、随机分流、对比两组”——这就是A/B分流的四步心法。