AB测试基础回顾：核心概念、假设检验、统计显著性、最小样本量
在深入组合风险人群切片之前，必须牢固掌握AB测试的四大基础支柱。本章将系统梳理这些核心概念，确保后续章节的复杂分析建立在扎实的统计学地基之上。
2.1 AB测试核心概念
AB测试本质上是一种受控实验：将用户随机分为两组，分别暴露于不同版本（A为对照组，B为实验组），通过比较两组在核心指标上的差异来量化版本效果。
| 概念 | 定义 | 示例 |
|---|---|---|
| 对照组 (Control) | 保持现有策略或原始版本的用户组 | 当前推荐算法 |
| 实验组 (Treatment) | 接受新策略或新版本的用户组 | 新推荐算法 |
| 随机化 (Randomization) | 用户被无偏地分配到各组 | 用户ID哈希取模 |
| 核心指标 (Metric) | 衡量实验效果的量化标准 | 点击率、转化率、ARPU |
| 样本量 (Sample Size) | 每组参与实验的用户数量 | 每组10,000人 |
关键原则：随机化是AB测试的基石。如果随机化失败（如自选择偏差），后续所有统计推断都将失效。在风险人群切片中，随机化必须在每个切片内独立保证。
2.2 假设检验框架
AB测试的统计推断基于假设检验。我们建立两个互斥的假设，并通过样本数据决定拒绝哪一个。
- 零假设 (H₀)：实验组与对照组指标无差异。即新版本没有效果。
- 备择假设 (H₁)：实验组与对照组指标存在显著差异。即新版本有效果（可以是双向或单向）。
检验过程可以概括为：
- 设定显著性水平 α（通常为0.05）。
- 收集实验数据，计算检验统计量（如Z值、t值）。
- 计算p值：在H₀为真的前提下，观察到当前结果（或更极端结果）的概率。
- 决策：若p值 < α，拒绝H₀，认为差异统计显著；否则无法拒绝H₀。
两类错误：
- 第一类错误 (α)：错误地拒绝真实的零假设（假阳性）。
- 第二类错误 (β)：错误地接受错误的零假设（假阴性）。统计功效 = 1 - β。
2.3 统计显著性
统计显著性并不等同于实际重要性。一个结果在统计上显著，仅意味着观察到的差异不太可能由随机波动引起，但差异的幅度可能很小。
| 概念 | 含义 | 常见阈值 |
|---|---|---|
| p值 | H₀为真时观察到当前结果的概率 | p < 0.05 通常视为显著 |
| 置信区间 (CI) | 真实效应大小所在的范围 | 95% CI |
| 效应量 (Effect Size) | 差异的实际大小（如提升百分比） | 视业务而定 |
常见误区：p值不表示效应大小，也不表示H₀为真的概率。p值很小 ≠ 效应很大。在风险人群切片中，即使整体p值显著，某些切片可能效应微弱甚至反向，这正是组合分析的价值所在。
2.4 最小样本量
最小样本量是指在给定显著性水平 α、统计功效 1-β 和最小可检测效应量 (MDE) 下，所需的最少用户数。样本量不足会导致实验功效低，无法检测到真实存在的差异。
常用计算公式（两组独立比例检验）：
n = (Z_α/2 + Z_β)² × [p₁(1-p₁) + p₂(1-p₂)] / (p₂ - p₁)²
其中：
Z_α/2 = 对应显著性水平 α 的双侧Z值（α=0.05时 ≈ 1.96）
Z_β = 对应功效 1-β 的Z值（功效=0.80时 ≈ 0.84）
p₁ = 对照组预期转化率
p₂ = 实验组预期转化率（p₁ + MDE）| 参数 | 典型值 | 对样本量的影响 |
|---|---|---|
| 显著性水平 α | 0.05 | α 越小，所需样本越大 |
| 统计功效 1-β | 0.80 | 功效越高，所需样本越大 |
| 最小可检测效应量 (MDE) | 1% ~ 5% | MDE 越小，所需样本越大 |
| 基线转化率 | 10% | 基线越接近0或1，所需样本越大 |
切片场景提醒：当对风险人群进行切片分析时，每个切片的样本量会大幅减少。如果整体实验需要10,000人，切片后某个子群可能只有500人，此时该切片的统计功效极低，容易遗漏真实效应。后续章节将专门讨论切片样本量补偿策略。
2.5 基础回顾小结
AB测试的统计基础是后续所有切片分析的数学保障。请牢记以下要点：
- 随机化是实验有效性的前提，切片内也必须保证随机。
- 假设检验提供决策框架，但需警惕多重比较带来的第一类错误膨胀。
- 统计显著性不等于业务显著性，需结合效应量判断实际价值。
- 最小样本量在切片场景下是稀缺资源，需要提前规划或采用贝叶斯方法缓解。