3、A/B测试原理：假设检验基础、控制组与实验组设计、统计显著性（p值、置信区间）、最小样本量计算

在实时风控网关中引入A/B测试，本质是通过统计推断来量化策略变更带来的效果差异。本章将系统讲解支撑A/B测试的核心统计原理，确保你在设计实验时具备严谨的数学基础，避免因样本偏差或统计误读导致错误决策。

3.1 假设检验基础

假设检验是A/B测试的决策框架。其核心逻辑是：先假设新策略（实验组）与旧策略（对照组）效果无差异（零假设 H₀），然后通过样本数据计算该假设成立的概率，若概率极低则拒绝零假设，接受备择假设 H₁（存在显著差异）。

3.2 控制组与实验组设计

控制组（对照组）与实验组的设计质量直接决定实验结论的可信度。在实时风控网关中，流量分割必须满足以下原则：

• 随机性：每个请求独立随机分配到控制组或实验组，避免时间片、用户ID奇偶等非随机方式引入偏差。
• 同时性：两组必须同时运行，消除时间维度上的业务波动（如大促、凌晨低峰）对结果的干扰。
• 互斥性：同一请求只能属于一个组，不能同时命中多个实验。
• 样本保持：实验期间不调整分组比例，避免辛普森悖论。

3.3 统计显著性：p值与置信区间

统计显著性用于判断观察到的差异是否真实存在，还是由随机波动引起。两个核心指标：

3.3.1 p值

p值表示在零假设为真的前提下，观察到当前结果（或更极端结果）的概率。风控场景中：

• p ≤ 0.05：差异显著，拒绝H₀，认为新策略有效。
• p > 0.05：差异不显著，无法拒绝H₀，不能判定新策略有效。

3.3.2 置信区间

置信区间给出了效果量（如拦截率提升）的合理范围。95%置信区间表示：重复实验100次，有95次计算出的区间会包含真实效果值。

3.4 最小样本量计算

样本量不足会导致统计功效低，真实差异无法被检测；样本量过大则浪费计算资源和时间。最小样本量取决于四个参数：

• 基线转化率（p₀）：控制组的当前指标值（如拦截率 5%）。
• 最小可检测效果（MDE）：你认为有业务意义的最小提升（如拦截率提升 0.5%）。
• 显著性水平（α）：通常取 0.05。
• 统计功效（1-β）：通常取 0.80 或 0.90。

3.4.1 计算公式（两组比例检验）

n = (Z_α/2 + Z_β)² × [p₀(1-p₀) + p₁(1-p₁)] / (p₁ - p₀)²

其中：
  p₀ = 控制组基线比例
  p₁ = 实验组预期比例（p₀ + MDE）
  Z_α/2 = 对应显著性水平的Z值（α=0.05时取1.96）
  Z_β   = 对应功效的Z值（功效=0.80时取0.84）

3.4.2 常见场景样本量速查表

3.5 实时风控场景的样本量注意事项

• 样本独立性：同一用户的多次请求存在相关性，建议按用户ID聚合后再计算，避免伪重复。
• 多重比较校正：同时运行多个实验组时，需使用Bonferroni校正或FDR控制，避免因多次比较导致整体α膨胀。
• 早停问题：不要每天查看p值并在p<0.05时立即停止实验，这会导致第一类错误率飙升。应预先设定实验时长或使用序贯检验。
• 业务波动期：大促、节假日期间流量分布异常，建议避开这些时段或单独分层实验。