📚 课程目录第3章 A/B测试基础概念

3、A/B测试基础概念：假设检验、对照组与实验组、统计显著性、置信区间、样本量计算原理

在授信决策引擎的A/B测试中，理解统计学基础概念是设计有效实验、避免误判的前提。本节将系统梳理假设检验、对照组与实验组、统计显著性、置信区间及样本量计算的核心原理，并结合风控场景进行解读。

假设检验是A/B测试的统计框架。其核心逻辑是：先假设新策略（实验组）与旧策略（对照组）的效果没有差异（即零假设 H₀），然后通过样本数据计算在零假设成立下观察到当前结果的概率（p值）。若该概率极低（通常小于0.05），则拒绝零假设，认为新策略有统计显著的差异。

  风控场景示例：

  H₀：新授信模型与旧模型的坏账率无差异（Δ = 0）。

  H₁：新授信模型的坏账率低于旧模型（Δ < 0）。

  若p值 < 0.05，则拒绝H₀，认为新模型显著降低了坏账率。

对照组与实验组是A/B测试的两种实验单元分组。对照组沿用现有策略（如旧授信模型），实验组应用新策略（如新模型）。两组必须在同一时间窗口、同一客群池中随机分流，以确保除策略外其他因素（如市场环境、客群结构）保持一致，从而将效果差异归因于策略本身。

统计显著性通常用显著性水平 α 表示，默认取 0.05。它代表“当零假设为真时，错误拒绝它的概率”（即第一类错误）。若 p值 < α，则结果具有统计显著性，意味着观察到的差异不太可能由随机波动引起。

风控实践提示：
在授信场景中，α 可适当放宽至 0.10（如探索性测试）或收紧至 0.01（如涉及重大资金损失风险）。α 越小，拒绝零假设的证据要求越严格，但也会增加第二类错误（漏掉真实效果）的风险。

置信区间（CI）给出了策略效果（如坏账率差值）的估计范围。95%置信区间意味着：如果重复实验100次，有95次计算出的区间会包含真实效果值。区间越窄，估计越精确。

指标	点估计	95%置信区间	解读
坏账率差值	-0.4%	[-0.7%, -0.1%]	新模型坏账率显著降低，且效果在0.1%~0.7%之间
通过率差值	+1.2%	[-0.3%, +2.7%]	通过率提升不显著（区间包含0）

样本量决定了实验能否检测到预期效果。样本量过小，实验可能因统计功效不足而漏掉真实差异；样本量过大，则浪费流量与时间。样本量计算需输入以下参数：

样本量计算公式（两样本比例检验）：

n = (Z_α/2 + Z_β)² × [p₁(1-p₁) + p₂(1-p₂)] / (p₂ - p₁)²

其中：
Z_α/2 = 1.96（α=0.05，双尾），Z_β = 0.84（功效=0.80）
p₁ = 对照组坏账率，p₂ = 实验组预期坏账率

常见误区：