📚 课程目录第3章 A/B测试核心原理

3. A/B测试核心原理：统计学基础

在催收触达优化中，A/B测试不是简单的“比一比哪个数据高”。每一次对比背后，都依赖一套严谨的统计学框架来区分“真实效果”与“随机波动”。本章将拆解A/B测试的五大核心支柱：假设检验、P值、置信区间、随机化原则、样本量计算与统计功效。

假设检验是A/B测试的逻辑起点。我们首先提出两个互斥的假设：

测试的目标是：收集数据，计算在H₀成立的前提下，观察到当前结果（或更极端结果）的概率。如果这个概率足够低，我们就拒绝H₀，认为差异是真实的。

  催收场景案例： 某团队测试“短信+AI外呼” vs “仅短信”的还款提醒效果。H₀：两种方式7天还款率无差异；H₁：组合方式还款率更高。若测试后P值=0.02，则拒绝H₀，认为组合方式有效。

P值：在零假设为真的前提下，观察到样本数据或更极端结果的概率。P值越小，说明数据与H₀的兼容性越差，越有理由拒绝H₀。

显著性水平（α）：我们预先设定的“红线”，通常取0.05或0.01。当P值 < α时，拒绝H₀，结果具有统计学显著性。

常见误区： P值不是“策略有效的概率”，也不是“差异的大小”。P=0.03不代表“策略有97%的概率有效”，而是“如果策略无效，观察到这种极端数据的概率只有3%”。

P值只告诉我们“有没有差异”，而置信区间告诉我们“差异有多大”。95%置信区间表示：如果我们重复实验100次，大约有95次计算出的区间会包含真实的总体差异值。

例如：催收A组还款率12.5%，B组还款率14.2%，差异为1.7个百分点，95%置信区间为[0.8%, 2.6%]。这意味着真实差异很可能在0.8%到2.6%之间，且区间下限大于0，进一步支持了差异的显著性。

决策价值： 置信区间比P值提供更多信息。若区间下限为0.1%，即使P值显著，实际提升也可能很小，不值得投入大量资源切换策略。

随机化是保证两组在测试前“可比”的唯一方法。只有通过随机分配，才能将已知和未知的混杂因素（如客户资质、历史行为、催收员技能）均匀分散到两组中。

催收场景中常见的随机化方式：

破坏随机化的常见陷阱： 催收员主动选择“好客户”使用新策略、系统按地区顺序分配、测试期间调整分配规则。这些行为会引入偏差，使测试结果失效。

样本量不足会导致测试“假阴性”（明明有效却检测不出），样本量过大则浪费资源和时间。计算样本量需要四个参数：

常用计算公式（两组比例差异检验）：

n = (Z_α/2 + Z_β)² × [p₀(1-p₀) + p₁(1-p₁)] / (p₁ - p₀)²

其中：
Z_α/2 = 1.96（对应α=0.05，双侧检验）
Z_β   = 0.84（对应功效=0.80）
p₀    = 基线转化率
p₁    = 预期转化率（p₀ + δ）

代入示例：p₀=0.12，δ=0.015，p₁=0.135，计算得每组约需 4,200 个样本，两组共约8,400个样本。

快速估算： 催收场景中，若基线还款率在10%-20%之间，想检测1-2个百分点的提升，每组通常需要3,000-8,000个客户。建议使用在线样本量计算器或Python的statsmodels库进行精确计算。

统计功效（Power）是当真实差异存在时，测试能正确拒绝零假设的概率。功效 = 1 - β，其中β是假阴性率（Type II Error）。

显著性水平α控制假阳性率（Type I Error），即错误地认为有差异的概率。

两者关系如下：

  催收测试建议： 在催收场景中，假阳性（误认为新策略有效而投入资源）和假阴性（错过真正有效的策略）都有成本。建议默认设置α=0.05，功效=0.80，并根据业务重要性调整。对于高风险策略（如外包催收），可提高功效至0.90。

统计学基础不是纸上谈兵。在催收触达优化中，每一次A/B测试的结论都直接影响策略上线、资源分配和最终回款率。掌握假设检验、P值、置信区间、随机化、样本量和功效这六大概念，能帮助你：