3. A/B测试核心概念：实验组与对照组、随机化原则、样本量计算、统计显著性（p值）、置信区间

在额度策略的A/B测试中，理解核心统计概念是设计有效实验、避免误判的基础。本节将逐一拆解五个关键概念，并结合额度场景进行说明。

3.1 实验组与对照组

任何A/B测试都至少包含两个组：对照组（Control Group）和实验组（Treatment Group）。对照组保持现有额度策略不变，作为基准；实验组则施加新的额度策略（如调整额度上限、利率或审批规则）。

3.2 随机化原则

随机化是A/B测试的基石。它确保每个用户被分配到对照组或实验组的概率相等，从而在统计上平衡两组之间已知和未知的混杂因素（如用户收入、信用分、历史行为）。

随机化在额度测试中的关键要求：

• 用户级随机： 以用户ID为粒度进行随机分配，避免同一用户在不同时间被分到不同组。
• 不可预测性： 使用加密安全的随机数生成器，防止策略泄露或人为干预。
• 分层随机（可选）： 当额度策略对高、低风险用户影响差异较大时，可先按风险分层，再在各层内随机，保证两组内风险分布一致。

3.3 样本量计算

样本量不足会导致测试无法检测到真实存在的策略效果（统计功效不足）；样本量过大则浪费流量和时间。样本量计算需要预先确定以下参数：

样本量计算公式（两组等样本）：

n = (Z_α/2 + Z_β)² × [p₁(1-p₁) + p₂(1-p₂)] / (p₂ - p₁)²

其中：
  p₁ = 对照组基准率
  p₂ = 实验组预期率（p₁ + δ）
  Z_α/2 = 1.96（对应 α=0.05）
  Z_β   = 0.84（对应 功效=0.80）

3.4 统计显著性（p值）

p值是在假设“策略无效”（零假设）为真的前提下，观察到当前结果或更极端结果的概率。p值越小，说明数据与零假设的矛盾越大，越倾向于拒绝零假设，认为策略有效。

p值在额度测试中的解读：

• p < 0.05： 通常认为统计显著，有证据表明新额度策略与对照组存在差异。
• p ≥ 0.05： 未达到统计显著，不能排除差异由随机波动引起。
• 注意： p值不表示效果大小，也不表示策略有效的概率。一个很小的p值可能对应一个业务上微不足道的额度提升。

3.5 置信区间

置信区间给出了策略效果（如额度提升率）的一个范围估计，比单一的p值提供更多信息。95%置信区间的含义是：如果重复实验100次，大约有95次计算出的区间会包含真实的策略效果。

置信区间在额度测试中的优势：

• 效果大小： 直接显示策略提升的上下限，例如“通过率提升 1.5% ~ 3.2%”。
• 业务决策： 如果区间下限大于业务最小可接受阈值，则策略值得上线。
• 不确定性量化： 区间越窄，估计越精确；区间越宽，说明数据波动大或样本不足。

两组率差的置信区间公式（Wald法）：

CI = (p₂ - p₁) ± Z_α/2 × SE

其中：
  SE = sqrt( p₁(1-p₁)/n₁ + p₂(1-p₂)/n₂ )
  Z_α/2 = 1.96（95%置信水平）

3.6 核心概念关系总结