2. 统计学基础回顾：假设检验、P值、置信区间、统计功效与样本量计算
在A/B分流方案中，模型验证的核心是判断实验组与对照组之间的差异是否由真实效果引起，而非随机波动。这需要依赖统计学中的假设检验框架。本节将系统回顾假设检验、P值、置信区间、统计功效与样本量计算，为后续分流方案设计奠定理论基础。
2.1 假设检验的基本逻辑
假设检验是一种通过样本数据对总体参数做出推断的统计方法。其核心思想是：先对总体参数提出一个假设（原假设），然后利用样本数据计算检验统计量，根据该统计量在假设成立下的概率分布，决定是否拒绝原假设。
关键概念：
- 原假设（H₀）：通常表示“无差异”或“无效果”，如实验组与对照组指标相同。
- 备择假设（H₁）：与原假设对立，表示存在差异或效果。
- 检验统计量：根据样本数据计算的标准化指标，如Z值、t值。
- 拒绝域：检验统计量取值中，使得原假设被拒绝的区域。
实践提示：在A/B测试中，原假设通常设定为“新模型与旧模型效果无差异”，备择假设为“新模型效果优于旧模型”（单侧）或“新模型效果与旧模型不同”（双侧）。
2.2 P值的含义与解读
P值（Probability Value）是假设检验中最常用的决策指标，定义为在原假设为真的前提下，观察到当前样本结果或更极端结果的概率。
| P值范围 | 统计显著性 | 对原假设的判断 | A/B测试中的含义 |
|---|---|---|---|
| P < 0.01 | 高度显著 | 强烈拒绝 H₀ | 新模型效果极可能真实存在 |
| 0.01 ≤ P < 0.05 | 显著 | 拒绝 H₀ | 新模型效果有统计证据支持 |
| 0.05 ≤ P < 0.10 | 边缘显著 | 谨慎拒绝 H₀ | 需更多数据或进一步验证 |
| P ≥ 0.10 | 不显著 | 无法拒绝 H₀ | 未观察到显著差异 |
常见误区：P值不是“原假设为真的概率”，也不是“效果存在的概率”。P值仅反映样本数据与原假设的兼容程度。P值越小，说明数据与原假设越不兼容，但不能直接量化效果大小。
2.3 置信区间
置信区间（Confidence Interval, CI）提供了一个范围，该范围以一定的置信水平包含总体参数的真实值。与P值相比，置信区间能同时给出统计显著性和效果大小的信息。
- 置信水平：通常取95%，表示重复抽样100次，约有95个区间包含总体真实值。
- 区间宽度：反映估计的精度，宽度越窄，估计越精确。
- 与假设检验的关系：若95%置信区间不包含0（或1，取决于指标类型），则P值小于0.05。
置信区间计算公式（两样本均值差）：
CI = (x̄₁ - x̄₂) ± t_{α/2, df} × SE
其中：
x̄₁, x̄₂ = 两组样本均值
SE = 标准误 = √(s₁²/n₁ + s₂²/n₂)
t_{α/2, df} = 自由度为df的t分布临界值
df ≈ (s₁²/n₁ + s₂²/n₂)² / [(s₁²/n₁)²/(n₁-1) + (s₂²/n₂)²/(n₂-1)]2.4 统计功效与样本量计算
统计功效（Statistical Power）是当备择假设为真时，正确拒绝原假设的概率，即1 - β（β为第二类错误概率）。在A/B测试中，功效决定了实验检测到真实效果的能力。
| 参数 | 符号 | 典型值 | 说明 |
|---|---|---|---|
| 显著性水平 | α | 0.05 | 第一类错误概率（假阳性） |
| 第二类错误概率 | β | 0.20 | 假阴性概率 |
| 统计功效 | 1 - β | 0.80 | 检测到真实效果的能力 |
| 最小可检测效应 | δ | 由业务决定 | 认为有实际意义的最小差异 |
| 样本量 | n | 需计算 | 每组所需样本数 |
样本量估算经验：在A/B测试中，通常设定α=0.05、功效=0.80。对于均值类指标（如转化率），样本量估算公式为：
n = (Z_{α/2} + Z_{β})² × 2σ² / δ²
其中：
Z_{α/2} = 1.96（双侧α=0.05）
Z_{β} = 0.84（功效=0.80）
σ² = 总体方差（可用历史数据估计）
δ = 最小可检测效应2.5 常见假设检验方法对比
根据数据类型和分布假设，A/B测试中常用的假设检验方法如下表所示：
| 检验方法 | 适用场景 | 数据类型 | 分布假设 | Python实现 |
|---|---|---|---|---|
| Z检验 | 大样本均值比较 | 连续/二分类 | 近似正态 | statsmodels.stats.proportion.proportions_ztest |
| t检验 | 小样本均值比较 | 连续 | 正态分布 | scipy.stats.ttest_ind |
| 卡方检验 | 分类变量独立性 | 计数/频数 | 无严格分布假设 | scipy.stats.chi2_contingency |
| Mann-Whitney U检验 | 非参数两样本比较 | 有序/连续 | 无分布假设 | scipy.stats.mannwhitneyu |
| Bootstrap检验 | 任意分布、小样本 | 任意 | 无分布假设 | scipy.stats.bootstrap |
选择建议：
- 转化率、点击率等比例指标 → Z检验或卡方检验
- 收入、时长等连续指标且样本量较大 → t检验
- 数据严重偏态或样本量极小 → Bootstrap检验或Mann-Whitney U检验
2.6 多重比较问题与校正
在A/B测试中，若同时比较多个指标或多个实验组，会面临多重比较问题：随着比较次数增加，至少出现一次假阳性的概率急剧上升。
| 校正方法 | 控制目标 | 适用场景 | 特点 |
|---|---|---|---|
| Bonferroni校正 | Family-wise Error Rate (FWER) | 比较次数较少（≤10） | 最严格，容易过度保守 |
| Holm-Bonferroni校正 | FWER | 比较次数中等 | 比Bonferroni更宽松 |
| Benjamini-Hochberg (BH) | False Discovery Rate (FDR) | 大量比较（如多指标监控） | 更实用，允许一定比例假阳性 |
实践注意：在模型验证的A/B测试中，建议预先指定主要指标（Primary Metric）和次要指标（Secondary Metric），对主要指标使用原始α水平，对次要指标使用BH校正，避免过度惩罚。
2.7 本节小结
统计学基础是A/B分流方案设计的理论基石。假设检验提供了判断差异是否显著的框架，P值和置信区间分别从概率和区间估计两个角度辅助决策，统计功效与样本量计算确保实验有足够能力检测到真实效果。在实际应用中，需根据数据类型、分布特征和比较次数选择合适的检验方法与校正策略，避免统计误用导致的错误结论。