3. A/B测试基础
在催收策略优化中，A/B测试是把“经验判断”转化为“可验证结论”的核心工具。它的本质不是简单地把两套话术分别用一段时间，而是通过严格的实验设计，让策略效果的差异尽可能归因于策略本身，而非客户差异、时间波动或执行偏差。理解A/B测试的底层原理，是后续开展增量效果评估的前提。
一、实验设计基本原理：因果推断而非相关观察
A/B测试属于随机对照试验（Randomized Controlled Trial, RCT）在业务场景中的落地形式。其核心目标是回答一个因果问题：如果对同一批客户同时施加策略A和策略B，结果会有什么不同？现实中我们无法对同一个客户同时施加两种策略，因此退而求其次，通过随机分组构造两组“统计上可比”的客户，再比较结果差异。
实验设计有三个基本支柱：
- 随机化：每个客户被分配到处理组或对照组的概率已知且不受人为干预，从而消除选择偏差。
- 对照组：提供“如果不做新策略会怎样”的反事实基准，是计算增量的前提。
- 可重复性：实验条件、指标口径、分流规则需事先定义并记录，保证结论可复现、可审计。
关键认知：A/B测试比较的是“策略+执行+时间窗口”的整体差异。若两组在客户结构、触达时段、催收员分配上存在系统性差异，即使统计显著，也不能直接归因于策略本身。
二、随机对照试验：处理组与对照组的构造
在催收场景中，处理组（Treatment Group）通常接受新策略，例如新话术、新触达频次、新减免方案；对照组（Control Group）则维持现有策略或接受空白干预。分组必须满足两个条件：互斥与完备，即每个合格客户只进入一组，且所有合格客户都有机会被分入任一组。
常见分流方式包括：
- 简单随机分流：按客户ID哈希取模，例如
hash(customer_id) % 100 < 50进入处理组。实现简单，但小样本下可能不平衡。 - 分层随机分流：先按逾期天数、未还金额、历史还款率等关键变量分层，再在层内随机分配。能显著提升两组可比性。
- 配对随机分流：将相似客户两两配对，再随机决定谁进处理组。适合样本量有限的高价值客群。
以下是一个分层随机分流的伪代码示例，便于理解工程实现：
for customer in eligible_customers:
stratum = (customer.dpd_bucket, customer.balance_bucket)
if hash(customer.id + salt) % 2 == 0:
assign(customer, group="treatment")
else:
assign(customer, group="control")
log(customer.id, stratum, group)
分流后必须做“平衡性检验”：检查两组在逾期天数、金额、地区、历史催收响应率等维度上的分布是否接近。若某关键变量差异过大，应重新分层或调整分流逻辑。
三、统计显著性与置信水平：如何判断差异不是噪声
实验结束后，处理组回收率可能高于对照组，但这个差异可能来自随机波动。统计显著性回答的是：在“两组没有真实差异”的原假设下，观察到当前差异或更大差异的概率有多大？这个概率就是p值。通常设定显著性水平α=0.05，即当p值小于0.05时，拒绝原假设，认为差异统计显著。
置信水平与显著性水平互补：置信水平=1-α。95%置信水平意味着，如果重复实验多次，约95%的置信区间会包含真实效应值。置信区间比单纯的p值更有信息量，因为它同时给出效应方向和精度范围。
| 概念 | 含义 | 催收场景示例 |
|---|---|---|
| 原假设H0 | 两组无差异 | 新话术与旧话术回收率相同 |
| 备择假设H1 | 两组存在差异 | 新话术回收率高于旧话术 |
| p值 | H0为真时观察到当前差异的概率 | p=0.03，拒绝H0 |
| 置信区间 | 效应值的可能范围 | 增量回收率95%CI：[0.8%, 3.2%] |
| 统计功效 | 正确检出真实差异的概率 | 通常要求≥80% |
需要特别注意的是，统计显著不等于业务显著。若样本量极大，0.1%的回收率提升也可能显著，但若催收成本增加2%，则未必值得推广。因此，实验前应结合最小可检测效应（MDE）计算所需样本量，避免“显著但无用”的结论。
四、常见误区与复盘要点
在实际催收A/B测试中，以下误区最为高频：
- 污染与溢出：同一客户被多个催收员触达，或家庭成员间信息串扰，导致对照组受到处理组影响。应通过客户唯一标识和触达隔离来规避。
- 提前窥探与多次检验：每天查看p值，一旦显著就停止实验，会大幅提高假阳性率。应预先固定实验周期或使用序贯检验方法。
- 指标口径不一致：处理组统计“承诺还款率”，对照组统计“实际还款率”，结论必然失真。实验前必须锁定核心指标与辅助指标。
- 忽略时间效应：发薪日前后、节假日、政策变化都会影响回收率。应确保两组覆盖相同时间窗口，或采用同期对照。
- 样本量不足：小样本下随机波动大，容易得出错误结论。实验前应基于历史方差和MDE估算最小样本量。
复盘时不要只盯着“赢没赢”。即使处理组未显著优于对照组，只要实验设计严谨，也能获得宝贵信息：新策略无效、效应量小于预期、或当前样本量不足以检出差异。这些结论同样指导下一轮策略迭代。
掌握A/B测试基础后，后续才能正确设计催收策略实验、计算增量效果，并避免把随机噪声误判为策略红利。实验设计的严谨程度，直接决定了催收策略优化能走多远。