假设检验基础：原假设与备择假设、显著性水平（α）、p值、第一类错误与第二类错误
在风控A/B测试中，我们无法直接知道策略的真实效果，必须通过样本数据对总体做出统计推断。假设检验正是这一推断过程的数学框架。它帮助我们回答一个核心问题：观测到的差异是真实存在的，还是仅仅由随机波动造成的？
4.1 原假设与备择假设
假设检验的第一步是建立一对互斥的假设：
- 原假设（H₀）：通常代表“无效果”或“无差异”的保守立场。在风控场景中，H₀ 通常表述为“新策略与旧策略的效果相同”或“策略没有提升”。
- 备择假设（H₁）：代表我们想要证明的结论，即“存在真实差异”。它可以是双尾（策略效果不同）或单尾（策略效果更好/更差）。
风控案例： 某信贷产品测试新的反欺诈模型。
H₀：新模型与旧模型的逾期率相同（μ新 = μ旧）。
H₁：新模型的逾期率低于旧模型（μ新 < μ旧，单尾检验）。
H₀：新模型与旧模型的逾期率相同（μ新 = μ旧）。
H₁：新模型的逾期率低于旧模型（μ新 < μ旧，单尾检验）。
4.2 显著性水平（α）与 p 值
这两个概念是判断是否拒绝 H₀ 的核心依据：
| 概念 | 定义 | 风控中的典型值 |
|---|---|---|
| 显著性水平（α） | 事先设定的阈值，表示“愿意承担的错误风险”。如果 p 值小于 α，则拒绝 H₀。 | 0.05（5%）或 0.01（1%） |
| p 值 | 在 H₀ 为真的前提下，观察到当前样本结果（或更极端结果）的概率。 | p < 0.05 视为统计显著 |
理解 p 值： p 值不是“H₀ 为真的概率”。它衡量的是数据与 H₀ 的兼容性。p 值越小，说明数据与 H₀ 的矛盾越大，越有理由拒绝 H₀。
4.3 第一类错误与第二类错误
由于我们基于样本做推断，决策不可能 100% 正确。错误分为两类：
| 错误类型 | 通俗说法 | 统计定义 | 风控后果 |
|---|---|---|---|
| 第一类错误（α） | 假阳性（误报） | H₀ 为真，但错误地拒绝了 H₀ | 上线了一个实际上无效甚至有害的策略，造成资金损失或用户体验下降 |
| 第二类错误（β） | 假阴性（漏报） | H₀ 为假，但未能拒绝 H₀ | 错过了一个真正有效的策略，导致业务增长机会流失 |
风控权衡： 在风控场景中，第一类错误（误上线坏策略）通常比第二类错误（错过好策略）代价更高。因此，风控 A/B 测试往往采用更严格的 α（如 0.01），并配合更大的样本量来降低 β。
4.4 假设检验决策流程
下图展示了从建立假设到做出决策的完整逻辑：
4.5 两类错误的关系与统计功效
α 和 β 之间存在此消彼长的关系。降低 α（更严格）会导致 β 增大（检验功效降低）。统计功效（Power = 1 - β） 衡量的是当 H₁ 为真时，正确拒绝 H₀ 的概率。
风控实战要点：
- 样本量越大，标准误越小，α 和 β 可以同时降低。
- 效应量（Effect Size）越大，越容易被检测到，β 越小。
- 风控 A/B 测试通常要求功效 ≥ 0.80，即 β ≤ 0.20。
4.6 概念对比总结
| 维度 | 第一类错误（α） | 第二类错误（β） |
|---|---|---|
| 真实情况 | H₀ 为真（策略无效） | H₁ 为真（策略有效） |
| 检验结论 | 拒绝 H₀（宣布有效） | 不拒绝 H₀（宣布无效） |
| 错误性质 | 过度乐观（假阳性） | 过度保守（假阴性） |
| 控制方法 | 设定较小的 α（如 0.01） | 增加样本量，增大效应量 |
| 风控代价 | 上线坏策略，直接损失 | 错过好策略，机会损失 |
记忆口诀： “宁可错杀一千（β），不可放过一个（α）” 在风控中并不适用。正确的做法是：用足够大的样本量同时控制两类错误，而不是单纯地牺牲一方。