📚 课程目录第3章 AB测试核心概念

3. AB测试核心概念：假设检验、零假设与备择假设、显著性水平（α）、统计功效（1-β）、效应量

在风控策略的AB测试中，我们并非简单比较两个版本的指标大小，而是通过假设检验这一统计框架，判断观察到的差异是否真实存在，还是由随机波动导致。理解以下五个核心概念，是正确解读AB测试结果、避免“伪优化”的基础。

假设检验是一种利用样本数据对总体参数或模型做出推断的统计方法。在风控AB测试中，其核心逻辑是：先提出一个“无差异”的假设（零假设），然后计算在零假设成立的前提下，观察到当前样本结果（或更极端结果）的概率。如果这个概率极低，我们就拒绝零假设，认为差异具有统计显著性。

  风控场景类比： 假设检验就像法庭审判。零假设是“被告无罪”（策略无差异），备择假设是“被告有罪”（策略有差异）。证据（样本数据）必须足够强（p值足够小），才能推翻“无罪推定”，判定策略有效。

在AB测试中，我们同时设立两个互斥的假设：

假设类型	符号	含义	风控AB测试示例
零假设 (H₀)	H₀: μ_A = μ_B	两组策略效果相同，观察到的差异仅由随机误差引起	新规则组与旧规则组的逾期率无差异
备择假设 (H₁)	H₁: μ_A ≠ μ_B	两组策略效果存在真实差异，差异并非偶然	新规则组的逾期率显著低于旧规则组

关键原则： 我们永远无法“证明”零假设为真，只能“拒绝”或“无法拒绝”它。在风控中，我们通常希望拒绝零假设，从而证明新策略优于旧策略。

显著性水平 α 是我们在进行假设检验前设定的一个阈值，代表“弃真错误”（Type I Error）的概率——即零假设实际上为真，但我们错误地拒绝了它。在风控语境下，这意味着新策略其实没有效果，但我们却认为它有效并上线，导致资源浪费或风险上升。

风控避坑： 不要为了“显著”而事后调整 α。如果测试多个指标（如逾期率、通过率、催回率），需考虑多重比较校正（如Bonferroni校正），否则整体犯第一类错误的概率会远高于设定的 α。

统计功效是假设检验正确拒绝一个错误零假设的概率，即避免“取伪错误”（Type II Error）的能力。β 是取伪错误的概率——新策略确实有效，但我们的测试未能检测出来。

公式： 统计功效 = 1 - β
风控意义： 高功效意味着当新策略确实能降低逾期率时，我们的AB测试有很高的概率发现这一效果，不会错失优化机会。
影响因素：
- 样本量： 样本越大，功效越高。
- 效应量： 真实差异越大，功效越高。
- 显著性水平 α： α 越小（越保守），功效越低。
- 数据波动性： 方差越小，功效越高。

  行业标准： 风控AB测试通常要求统计功效达到 80%（β=0.2）或更高。如果功效过低，即使测试结果不显著，也不能轻易下结论说“新策略无效”——可能只是样本量不够。

效应量（Effect Size）是量化两组之间差异大小的标准化指标，它不受样本量影响，直接反映策略效果的实际重要性。在风控中，一个“统计显著”的结果可能效应量极小，不具备业务落地价值。

效应量指标	适用场景	风控示例	解释
Cohen's d	连续变量（如逾期天数、信用评分）	新策略组平均逾期天数比旧组低 0.3 个标准差	d=0.2（小）、0.5（中）、0.8（大）
风险差 (RD)	二分类变量（如是否逾期、是否违约）	新策略组逾期率 2.5%，旧组 3.0%，RD = -0.5%	绝对值越大，效果越明显
比值比 (OR)	二分类变量，常用于逻辑回归	新策略组逾期 odds 是旧组的 0.82 倍	OR < 1 表示风险降低

实践建议： 在报告AB测试结果时，同时报告 p 值和效应量。p 值告诉你“是否有效”，效应量告诉你“效果有多大”。例如：“新策略显著降低了逾期率（p=0.003, Cohen's d=0.15）”，虽然显著，但效应量很小，需结合业务成本判断是否值得上线。

下表汇总了五个核心概念在风控AB测试中的角色与注意事项：

概念	符号	风控中的含义	常见误区
零假设	H₀	新策略与旧策略效果相同	认为“不显著”就等于“H₀为真”
备择假设	H₁	新策略效果优于（或劣于）旧策略	只做单侧检验却未提前声明
显著性水平	α	允许误判新策略有效的最大概率	测试后根据结果调整α
统计功效	1-β	当新策略确实有效时，测试能发现的概率	样本量不足导致功效过低，错失好策略
效应量	d / RD / OR	策略效果的实际大小，与样本量无关	只看p值，忽略效应量，上线无业务价值的“显著”策略

  核心公式速记：

  统计功效 = 1 - β = P(拒绝 H₀ | H₁ 为真)

  显著性水平 = α = P(拒绝 H₀ | H₀ 为真)

  p值 = 在 H₀ 为真的前提下，观察到当前样本结果或更极端结果的概率