3. 假设检验基础：零假设与备择假设、第一类与第二类错误、显著性水平与统计功效

在商户风险实验评估中，我们经常需要判断某个策略（如新的风控规则、优惠券发放策略）是否真正有效。假设检验是统计学中用于做出这种判断的核心工具。它通过构建两个对立的假设，并基于样本数据计算概率，来决定是否拒绝其中一个假设。

3.1 零假设与备择假设

假设检验的第一步是建立一对互斥的假设：

• 零假设（H₀）：通常代表“无效果”、“无差异”或“现状”。它是我们试图推翻的假设。例如：“新风控规则对欺诈率无影响”。
• 备择假设（H₁ 或 Hₐ）：代表“有效果”、“有差异”或“新策略更好”。它是我们试图证明的假设。例如：“新规则能显著降低欺诈率”。

检验结果只有两种：要么拒绝 H₀（认为新策略有效），要么不拒绝 H₀（样本证据不足以推翻现状）。

3.2 第一类错误与第二类错误

由于我们基于样本推断总体，判断不可能 100% 准确。下表总结了四种可能的结果：

• 第一类错误（α）：错误地拒绝了真实的零假设。在风控中，相当于“误判”，即认为新策略有效，但实际上它无效，导致投入资源实施无效策略。
• 第二类错误（β）：错误地接受了错误的零假设。相当于“漏判”，即新策略实际有效，但实验未能检测出来，错失了优化机会。

3.3 显著性水平与统计功效

这两个指标是设计实验时预先设定的关键参数，直接影响实验的可靠性和样本量需求。

3.3.1 显著性水平（α）

显著性水平是研究者愿意承受的“第一类错误”的最大概率。通常设定为 0.05（5%）或 0.01（1%）。α 越小，拒绝 H₀ 的门槛越高，结果越可靠，但同时也增加了犯第二类错误的风险。

3.3.2 统计功效（1 - β）

统计功效是当备择假设为真时，正确拒绝零假设的概率。它衡量了实验“发现真实效果”的能力。通常要求统计功效达到 0.8（80%）或 0.9（90%）。

3.4 实验设计中的权衡与样本量计算

在商户风险实验中，设计一个有效的 A/B 测试需要平衡以下四个要素：

在风控实验中，通常使用以下 Python 代码进行样本量估算：

import statsmodels.stats.api as sms

# 参数设定
effect_size = 0.05  # 预期坏账率降低 5%（相对效果量）
alpha = 0.05        # 显著性水平
power = 0.80        # 统计功效

# 计算所需样本量（每组）
required_n = sms.NormalIndPower().solve_power(
    effect_size=effect_size,
    alpha=alpha,
    power=power,
    alternative='two-sided'
)

print(f"每组所需最小样本量: {int(required_n)}")
# 输出: 每组所需最小样本量: 1570