4. 假设检验基础：零假设与备择假设、第一类错误与第二类错误、显著性水平 α 与统计功效 β

在支付风控的 A/B 测试中，我们无法直接“证明”新策略有效，而是通过统计假设检验来做出判断。假设检验是一套严谨的决策框架，帮助我们控制风险，避免被随机波动误导。理解其核心概念是科学评估收益的基石。

4.1 零假设与备择假设

假设检验的第一步是建立一对互斥的假设：

• 零假设（H₀）：通常代表“无效果”或“无差异”的保守立场。在支付风控中，H₀ 通常为“新策略与旧策略在核心指标（如欺诈损失率、误杀率）上没有显著差异”。我们默认 H₀ 为真，除非有足够证据推翻它。
• 备择假设（H₁）：代表我们想要证明的结论，即“存在显著差异”。例如，“新策略显著降低了欺诈损失率”或“新策略显著提升了用户通过率”。

4.2 第一类错误与第二类错误

由于我们基于样本数据推断总体，决策不可能 100% 正确。错误分为两类，其代价在风控中截然不同：

• 第一类错误（α，假阳性）：错误地拒绝了真实的 H₀。在风控中，这相当于上线了一个实际上没有效果甚至有害的策略，导致资金损失或用户体验下降。这是风控团队最需要警惕的错误。
• 第二类错误（β，假阴性）：错误地接受了错误的 H₀。这相当于错过了一个真正有效的优化策略，导致本可以挽回的欺诈损失或本可以提升的通过率被放弃。

4.3 显著性水平 α 与统计功效 β

α 和 β 是量化上述两类错误风险的关键参数，也是设计 A/B 测试样本量的核心依据。

显著性水平（α）

• 定义：犯第一类错误（假阳性）的最大可接受概率。它是我们设定的一个阈值，用于判断结果是否“统计显著”。
• 常见取值：在支付风控中，通常取 α = 0.05（5%）或更严格的 α = 0.01（1%）。α = 0.05 意味着，如果新策略实际上无效，我们仍有 5% 的概率错误地得出“有效”的结论。
• 与 P 值的关系：P 值是试验结果在 H₀ 为真时出现的概率。当 P 值 < α 时，我们拒绝 H₀，认为结果具有统计学显著性。

统计功效（1 - β）

• 定义：当备择假设 H₁ 为真时，正确拒绝 H₀ 的概率。即，如果新策略确实有效，我们的测试能发现这一效果的能力。
• 常见取值：通常要求统计功效 ≥ 0.80（80%）。这意味着，如果新策略能带来真实收益，我们有 80% 的把握在测试中检测到它。
• 影响因素：功效受样本量、效应量（效果大小）和 α 水平共同影响。样本量越大，效应量越明显，功效越高。

4.4 参数选择与样本量计算

α、β 和效应量（Effect Size）共同决定了 A/B 测试所需的最小样本量。在支付风控中，我们通常使用以下公式或工具进行估算：

# 样本量估算示例（Python 伪代码）
# 假设：α = 0.05, 1-β = 0.80, 最小可检测提升 = 10%（效应量）
from statsmodels.stats.proportion import samplesize_proportions_2indep_onetail

# 旧策略基准转化率（如通过率）
p1 = 0.85
# 新策略预期转化率
p2 = 0.85 * 1.10  # 提升 10%

n = samplesize_proportions_2indep_onetail(
    diff = p2 - p1,
    prop = p1,
    power = 0.80,
    alpha = 0.05,
    ratio = 1
)
print(f"每组所需最小样本量: {int(n)}")
# 输出: 每组所需最小样本量: 约 1200

4.5 本章小结