2. A/B测试基础统计学原理：假设检验、P值、置信区间、统计功效与样本量计算

在催收策略的A/B测试中，统计学原理是判断策略差异是否真实有效的科学依据。没有统计学支撑的测试结果，可能只是随机波动带来的“假阳性”或“假阴性”。本章将系统讲解A/B测试中必须掌握的5个核心统计学概念，并结合催收场景进行解读。

2.1 假设检验：判断差异是否显著

假设检验是A/B测试的决策框架。我们首先提出两个互斥的假设：

• 零假设（H₀）：催收策略A与策略B的效果没有差异（如回收率相同）。
• 备择假设（H₁）：催收策略A与策略B的效果存在显著差异（如策略B的回收率更高）。

测试的目标是通过样本数据，判断是否有足够证据拒绝零假设，从而接受备择假设。在催收场景中，常见的检验类型包括：

2.2 P值：衡量证据的强度

P值是在零假设为真的前提下，观察到当前样本结果（或更极端结果）的概率。P值越小，说明零假设越不可信，证据越倾向于拒绝H₀。

• P值 < 0.05：通常认为差异具有统计学显著性（有95%的把握说差异不是随机波动）。
• P值 < 0.01：差异非常显著（有99%的把握）。
• P值 ≥ 0.05：差异不显著，不能拒绝零假设。

2.3 置信区间：估计效果的大小

置信区间给出了策略效果（如回收率提升）的可能范围，比P值提供更多信息。例如，95%置信区间表示：如果重复进行100次测试，有95次计算出的区间会包含真实的策略效果。

在催收A/B测试中，置信区间的计算公式（以比率差为例）：

置信区间 = (p₁ - p₂) ± Z × SE

其中：
p₁ = 策略A的回收率
p₂ = 策略B的回收率
Z  = 置信水平对应的Z值（95%置信水平取1.96）
SE = 标准误 = √[p₁(1-p₁)/n₁ + p₂(1-p₂)/n₂]
n₁, n₂ = 两组样本量

2.4 统计功效：避免错过真实效果

统计功效（Power）是指在零假设为假时，正确拒绝零假设的概率。简单说，就是当策略B确实比策略A好时，我们的测试能发现这个差异的概率。

• 功效 = 1 - β，其中β是第二类错误（假阴性）的概率。
• 行业标准：通常要求功效 ≥ 0.80（即80%的把握检测到真实差异）。
• 影响因素：样本量、效应量（差异大小）、显著性水平α。

2.5 样本量计算：测试前必须做的功课

样本量计算是A/B测试设计的第一步。样本量不足会导致功效低、结果不可靠；样本量过大则浪费资源。计算样本量需要以下参数：

比率类指标（如还款率）的样本量计算公式：

n = (Zα/2 + Zβ)² × [p₁(1-p₁) + p₂(1-p₂)] / (p₁ - p₂)²

其中：
Zα/2 = 1.96（α=0.05，双边检验）
Zβ   = 0.84（β=0.20，功效=0.80）
p₁   = 对照组预期回收率
p₂   = 实验组预期回收率

2.6 综合应用：催收A/B测试设计检查清单

在实际设计催收A/B测试时，请按以下步骤检查统计学准备是否充分：

1. 明确目标指标：确定主要指标（如30天还款率）和次要指标（如接通率、投诉率）。
2. 设定最小效应量：与业务方确认，回收率提升多少才值得上线新策略（通常1%~3%）。
3. 计算所需样本量：使用上述公式或在线计算器，确保每组样本量满足功效要求。
4. 确定检验方法：根据指标类型选择Z检验、t检验或卡方检验。
5. 设定显著性水平：默认α=0.05，如需严格控制假阳性可设为0.01。
6. 运行测试并收集数据：确保随机分组，避免污染。
7. 分析结果：计算P值、置信区间，结合业务判断是否上线新策略。