4. 实验设计原则：最小样本量计算、统计功效、显著性水平设定

在支付风控A/B测试中，实验设计是决定结论可信度的基石。如果样本量不足、统计功效过低或显著性水平设定不当，实验结论可能完全错误，导致误上线无效策略或错失有效策略。本章将系统讲解这三个核心参数的原理、计算方法及在风控场景中的特殊考量。

4.1 核心概念速览

4.2 最小样本量计算：公式与实操

对于支付风控中最常见的两样本比例检验（如比较拦截率、误伤率），最小样本量计算公式为：

n = (Z_α/2 + Z_β)² × [p₁(1-p₁) + p₂(1-p₂)] / (p₂ - p₁)²

其中：
- Z_α/2：显著性水平 α 对应的双尾 Z 值（α=0.05 时取 1.96）
- Z_β：统计功效 β 对应的 Z 值（功效=0.80 时取 0.84）
- p₁：对照组基线率
- p₂：实验组预期率
- (p₂ - p₁)：绝对效应量

4.2.1 风控场景计算示例

假设当前支付拦截率为 1.2%，新策略预期将拦截率提升至 1.5%（效应量 0.3%），设定 α=0.05，功效=0.80：

p₁ = 0.012, p₂ = 0.015
Z_α/2 = 1.96, Z_β = 0.84

n = (1.96 + 0.84)² × [0.012×0.988 + 0.015×0.985] / (0.003)²
n = (2.80)² × [0.011856 + 0.014775] / 0.000009
n = 7.84 × 0.026631 / 0.000009
n ≈ 23,196（每组所需样本量）

4.3 统计功效：为什么 80% 是黄金标准？

统计功效直接决定了实验的检测灵敏度。在支付风控中，功效不足会导致两种严重后果：

• 漏掉有效策略（假阴性）：新策略实际能降低 10% 的欺诈损失，但因样本不足未通过显著性检验，被错误放弃。
• 浪费实验资源：运行两周的实验因功效不足无法得出结论，需要重新实验，消耗时间与风控资源。

下图展示了不同功效水平下，实验正确检测出真实效应的概率：

4.4 显著性水平设定：风控场景的特殊考量

在支付风控中，显著性水平 α 的选择需要平衡假阳性风险与实验成本：

4.5 样本量计算工具与实操流程

在实际工作中，推荐使用以下流程进行样本量计算：

1. 确定基线率：从历史数据中获取对照组核心指标（如拦截率、误伤率、申诉率）
2. 设定最小可检测效应量 (MDE)：与业务方确认“多小的提升值得上线”，通常为基线率的 10%~30%
3. 选择 α 和功效：根据策略风险等级确定（参考上表）
4. 代入公式或工具计算：使用 Python、R 或在线计算器
5. 考虑多重比较校正：如果同时评估多个指标，需使用 Bonferroni 校正调整 α

4.5.1 Python 计算示例

import math

def min_sample_size(p1, p2, alpha=0.05, power=0.80):
    """
    计算两样本比例检验的最小样本量
    p1: 对照组基线率
    p2: 实验组预期率
    alpha: 显著性水平
    power: 统计功效
    """
    z_alpha = 1.96 if alpha == 0.05 else 2.576  # 简化处理
    z_beta = 0.84 if power == 0.80 else 1.28    # 简化处理
    
    p_avg = (p1 + p2) / 2
    numerator = (z_alpha + z_beta) ** 2 * (p1*(1-p1) + p2*(1-p2))
    denominator = (p2 - p1) ** 2
    
    return math.ceil(numerator / denominator)

# 示例：拦截率从 1.2% 提升至 1.5%
n = min_sample_size(0.012, 0.015)
print(f"每组所需样本量: {n}")  # 输出: 23196

4.6 实验设计决策流程

以下流程图总结了从业务需求到实验参数设定的完整决策路径：

4.7 常见陷阱与避坑指南

4.8 本章小结