3. 实验设计基础：假设检验、显著性水平、统计功效、样本量计算

在催收触达的 Champion/Challenger 实验中，实验设计是决定结论可信度的基石。如果实验设计存在缺陷，再先进的模型也无法产出可靠的业务决策。本节将系统讲解假设检验、显著性水平、统计功效与样本量计算四个核心概念，并给出催收场景下的实战应用方法。

3.1 假设检验：从业务问题到统计问题

假设检验是将业务对比转化为可量化统计判断的过程。在催收场景中，我们通常关心“新策略是否优于旧策略”。

• 原假设 H₀：Challenger 策略与 Champion 策略的效果无差异（如回收率相等）。
• 备择假设 H₁：Challenger 策略的效果显著优于 Champion 策略（如回收率提升 2%）。

实验的目标是收集数据，计算统计量，判断是否有足够证据拒绝 H₀。若拒绝 H₀，则接受 H₁，认为新策略有效。

Z = (p₁ - p₂) / sqrt( p̄ * (1 - p̄) * (1/n₁ + 1/n₂) )

3.2 显著性水平 α：控制“误判”的风险

显著性水平 α 是拒绝原假设时犯第一类错误（假阳性）的概率上限。在催收实验中，α 通常设定为 0.05 或 0.01。

选择 α 时需要权衡：α 越小，越不容易误判新策略有效，但也越容易错过真正有效的策略（增加第二类错误风险）。

3.3 统计功效 1-β：发现“真实差异”的能力

统计功效是当真实差异存在时，实验能够正确拒绝原假设的概率。功效 = 1 - β，其中 β 是第二类错误（假阴性）的概率。

• 功效 0.80：行业最低可接受标准，有 80% 的概率检测到真实差异。
• 功效 0.90：推荐标准，尤其在高风险决策中。
• 功效 0.95：严格标准，适用于监管或合规相关的实验。

3.4 样本量计算：实验前必须回答的问题

样本量计算是实验设计中最容易被忽视的环节。样本量过小，实验功效不足；样本量过大，浪费资源且可能检测到无业务意义的微小差异。

3.4.1 影响样本量的关键参数

3.4.2 样本量计算公式（两样本比例检验）

n = (Z_α/2 + Z_β)² × [p₁(1-p₁) + p₂(1-p₂)] / (p₁ - p₂)²

其中：
  Z_α/2：对应显著性水平的 Z 值（α=0.05 时 Z=1.96）
  Z_β：对应功效的 Z 值（功效=0.80 时 Z=0.84）
  p₁：Champion 组预期回收率
  p₂：Challenger 组预期回收率

3.4.3 催收场景样本量速查表

假设当前回收率 25%，显著性水平 α=0.05，功效 0.80，两组样本量相等：

3.5 实验设计完整流程

3.6 催收实验中的常见陷阱与应对

3.7 实战案例：催收短信策略实验设计

业务背景： 某消费金融公司计划测试新的催收短信文案，预期将逾期 1-7 天案件的 3 日回收率从 22% 提升至 24%。

实验设计参数：

• 显著性水平 α = 0.05
• 统计功效 1-β = 0.80
• 最小可检测效应 δ = 2%（绝对值）
• 基线回收率 p₀ = 22%

样本量计算：

p₁ = 0.22, p₂ = 0.24
Z_α/2 = 1.96, Z_β = 0.84

n = (1.96 + 0.84)² × [0.22×0.78 + 0.24×0.76] / (0.02)²
n = 7.84 × [0.1716 + 0.1824] / 0.0004
n = 7.84 × 0.354 / 0.0004
n = 7.84 × 885
n ≈ 6,938 每组

结论： 每组需要约 7,000 个案件，总样本量 14,000。该催收队列日均新增逾期案件约 3,000 个，因此实验周期需要约 5 天。如果无法等待 5 天，可考虑将效应量放宽至 2.5%（每组约 4,500 个案件），或接受 0.70 的功效。