2. A/B测试基础原理：假设检验、零假设与备择假设、第一类与第二类错误、统计功效与样本量计算
在金融风控领域，A/B测试的核心是统计推断。我们通过收集实验数据，判断观察到的差异是否真实存在，还是仅仅由随机波动引起。本章将系统讲解支撑A/B测试的四大统计基石。
2.1 假设检验：从“猜想”到“验证”
假设检验是一种利用样本数据对总体参数或分布做出统计决策的方法。在风控A/B测试中，我们通常关心新策略（如新的信用评分模型、新的催收话术）是否优于旧策略。
其基本逻辑是：先提出一个“原假设”（认为没有效果），然后计算在假设成立的情况下，观察到当前数据（或更极端数据）的概率（即p值）。如果这个概率非常小（小于预设的显著性水平α），我们就拒绝原假设，认为新策略确实有效。
核心思想： 小概率事件在一次实验中几乎不会发生。如果发生了，我们就怀疑原假设的正确性。
2.2 零假设与备择假设
每一个假设检验问题都包含两个对立的假设：
| 假设类型 | 符号 | 含义 | 风控A/B测试示例 |
|---|---|---|---|
| 零假设（原假设） | H₀ | 通常代表“无差异”、“无效果”或“现状”。它是我们试图推翻的假设。 | 新模型与旧模型的坏账率相同（H₀: p_new = p_old） |
| 备择假设（对立假设） | H₁ 或 Hₐ | 代表“有差异”、“有效果”或“新策略更好”。它是我们想要证明的假设。 | 新模型的坏账率低于旧模型（H₁: p_new < p_old） |
备择假设分为三种类型：
- 双侧检验： H₁: p_new ≠ p_old（新模型效果不同，可能更好或更差）
- 单侧检验（左侧）： H₁: p_new < p_old（新模型效果更好，坏账率更低）
- 单侧检验（右侧）： H₁: p_new > p_old（新模型效果更差，坏账率更高）
实战建议： 在风控场景中，我们通常使用单侧检验，因为我们有明确的优化方向（如降低坏账率、提高通过率）。使用单侧检验可以获得更高的统计功效，所需样本量更少。
2.3 第一类错误与第二类错误
在假设检验中，我们基于样本数据做出决策，因此存在犯错的可能。这两种错误是A/B测试中必须权衡的核心风险。
| H₀ 为真（新策略无效） | H₁ 为真（新策略有效） | |
|---|---|---|
| 接受 H₀ | ✅ 正确决策（概率 = 1 - α） | ❌ 第二类错误（β） “假阴性”：错失了有效的新策略 |
| 拒绝 H₀ | ❌ 第一类错误（α） “假阳性”：上线了无效甚至有害的策略 |
✅ 正确决策（概率 = 1 - β = 统计功效） |
2.3.1 第一类错误（α）—— 风控中的“误伤”
- 定义： 零假设为真时，错误地拒绝它。即新策略实际上无效，但我们却认为它有效并上线。
- 后果： 在风控中，上线一个无效的模型可能导致坏账率上升、通过率下降，造成直接经济损失。
- 控制： 通常设定 α = 0.05 或 0.01。α 越小，对“误上线”的容忍度越低。
2.3.2 第二类错误（β）—— 风控中的“错失”
- 定义： 备择假设为真时，错误地接受它。即新策略实际上有效，但我们却认为它无效而放弃。
- 后果： 错失了提升风控效果、降低坏账率的机会，导致业务停滞不前。
- 控制： 通常设定 β = 0.2（即统计功效 = 0.8）。β 越小，发现真实效果的能力越强。
风控权衡： 在金融领域，第一类错误（上线坏模型）的代价通常远高于第二类错误（错过好模型）。因此，我们倾向于设置更严格的 α（如 0.01），但这会降低统计功效，需要更大的样本量来补偿。
2.4 统计功效与样本量计算
2.4.1 统计功效（Statistical Power）
统计功效 = 1 - β，即当备择假设为真时，正确拒绝零假设的概率。通俗地说，就是“当新策略真的有效时，我们的A/B测试能发现它的能力”。
影响统计功效的四个因素：
- 效应量（Effect Size）： 新策略与旧策略之间的真实差异大小。差异越大，越容易被检测到，功效越高。
- 样本量（Sample Size）： 样本量越大，抽样误差越小，功效越高。
- 显著性水平（α）： α 越大（如从0.01放宽到0.05），功效越高，但第一类错误风险也增大。
- 数据变异性（Variance）： 数据波动越小，功效越高。在风控中，坏账率等指标的方差通常较大，需要更大的样本量。
行业标准： 在金融风控A/B测试中，通常要求统计功效达到 0.8（80%） 或以上。这意味着如果新策略真的有效，我们有80%的概率在测试中发现它。
2.4.2 样本量计算
样本量计算是A/B测试设计中最关键的步骤之一。样本量不足会导致测试结果不可靠，样本量过大则浪费资源。
对于风控中常见的比例类指标（如坏账率、通过率、逾期率），样本量计算公式如下：
n = (Z_α/2 + Z_β)² × [p₁(1-p₁) + p₂(1-p₂)] / (p₂ - p₁)²
其中：
- n = 每组所需样本量
- Z_α/2 = 显著性水平 α 对应的 Z 值（双侧检验）
- Z_β = 统计功效对应的 Z 值
- p₁ = 对照组（旧策略）的预期指标值
- p₂ = 实验组（新策略）的预期指标值
- (p₂ - p₁) = 最小可检测效应量（MDE）常用 Z 值速查表：
| 参数 | 常用值 | Z 值 |
|---|---|---|
| α（双侧） | 0.05 | 1.96 |
| α（单侧） | 0.05 | 1.645 |
| α（双侧） | 0.01 | 2.576 |
| β（功效=0.8） | 0.2 | 0.842 |
| β（功效=0.9） | 0.1 | 1.282 |
2.4.3 风控场景样本量计算示例
假设当前风控模型的坏账率为 5%（p₁ = 0.05），我们希望新模型能将坏账率降低到 4.5%（p₂ = 0.045），即绝对降低 0.5 个百分点。设定 α = 0.05（双侧），功效 = 0.8。
n = (1.96 + 0.842)² × [0.05×0.95 + 0.045×0.955] / (0.045 - 0.05)²
= (2.802)² × [0.0475 + 0.042975] / (-0.005)²
= 7.851 × 0.090475 / 0.000025
= 7.851 × 3619
≈ 28,412
每组需要约 28,412 个样本，两组共需约 56,824 个样本。
实战技巧： 在风控A/B测试中，如果样本量不足，可以考虑：① 放宽 α（如从0.01改为0.05）；② 降低功效要求（如从0.9改为0.8）；③ 增大最小可检测效应量（只检测更大的效果）；④ 使用单侧检验代替双侧检验。
2.5 本章小结
- 假设检验是A/B测试的决策框架，通过p值与α的比较做出判断。
- 零假设（H₀）代表“无效果”，备择假设（H₁）代表“有效果”。风控中常用单侧检验。
- 第一类错误（α）是“假阳性”，代价是上线无效策略；第二类错误（β）是“假阴性”，代价是错失有效策略。风控中更重视控制α。
- 统计功效（1-β）是发现真实效果的能力，行业标准通常为0.8。
- 样本量计算需要综合考虑α、β、效应量和方差，是A/B测试设计的关键步骤。