2、对比分析框架概述：A/B测试基础、假设检验思想、统计显著性、置信区间与P值

在 Champion / Challenger 对比分析中，我们不仅需要比较两个模型的离线指标（如准确率、召回率），更需要通过严格的统计框架来回答一个核心问题：“观察到的差异是真实存在的，还是仅仅由随机波动造成的？” 本章将系统介绍支撑这一判断的四大支柱：A/B 测试、假设检验、统计显著性以及置信区间与 P 值。

2.1 A/B 测试基础

A/B 测试（又称分桶测试）是 Champion / Challenger 对比最直接的实验载体。其核心思想是将流量或样本随机分为两组，分别应用 Champion（对照组）和 Challenger（实验组），然后比较两组在关键业务指标上的表现差异。

2.2 假设检验思想

假设检验是统计推断的核心工具。在 Champion / Challenger 场景中，我们通过构建两个互斥的假设来量化证据强度：

• 零假设 (H₀)： Champion 与 Challenger 的表现没有差异。即 Challenger 的指标（如转化率）等于 Champion 的指标。
• 备择假设 (H₁)： Challenger 的表现优于（或劣于）Champion。即两者存在真实差异。

我们的目标是：基于实验数据，判断是否有足够证据拒绝 H₀，从而接受 H₁。

2.3 统计显著性

统计显著性（Statistical Significance）是衡量“观察到的差异是否不太可能由随机误差引起”的指标。它通常用一个阈值（显著性水平 α）来界定，最常见的取值为 0.05。

• α = 0.05 的含义是：如果 Champion 和 Challenger 实际上没有差异（H₀ 为真），那么由于随机波动而观察到当前这么大（甚至更大）差异的概率不超过 5%。
• 当这个概率（即 P 值）小于 α 时，我们称结果具有统计显著性，并拒绝 H₀。

需要注意的是，统计显著并不等同于实际显著。一个差异可能在统计上显著（P < 0.05），但实际业务提升可能只有 0.01%，在工程成本和风险面前可以忽略不计。

2.4 置信区间与 P 值

置信区间和 P 值是假设检验结果的两个互补表达方式。

2.4.1 置信区间 (Confidence Interval, CI)

置信区间给出了 Champion 与 Challenger 之间差异的一个范围估计，而不是一个孤立的点估计。例如，“Challenger 的转化率比 Champion 高 0.5% 到 1.2%” 比 “Challenger 高 0.85%” 提供了更丰富的信息。

• 95% 置信区间 的含义是：如果我们重复这个实验 100 次，其中大约 95 次计算出的区间会包含真实的差异值。
• 如果 95% 置信区间完全位于 0 的右侧（即下限 > 0），则说明在 0.05 的显著性水平下，Challenger 显著优于 Champion。
• 如果区间包含 0，则说明差异不显著。

2.4.2 P 值 (P-value)

P 值是假设检验中最常用的决策指标。它定义为：在零假设 H₀ 为真的前提下，观察到当前样本结果（或更极端结果）的概率。

• P 值小（如 P < 0.05）： 意味着在 H₀ 为真的假设下，当前数据出现的概率极低。因此，我们倾向于认为 H₀ 不成立，即 Challenger 与 Champion 存在真实差异。
• P 值大（如 P > 0.05）： 意味着当前数据在 H₀ 下并不罕见，我们没有足够证据拒绝 H₀，即不能断定 Challenger 优于 Champion。

2.5 对比分析决策流程

下图总结了从 A/B 测试到统计推断的完整决策流程，帮助你在 Champion / Challenger 项目中按步骤操作：

2.6 关键概念对比总结

下表汇总了本章核心概念在 Champion / Challenger 实践中的具体含义与常见误区：

2.7 代码示例：Python 中的假设检验

以下代码演示了如何使用 scipy.stats 对 Champion 和 Challenger 的转化率进行双样本 Z 检验，并计算 P 值与置信区间：

import numpy as np
from scipy import stats

# 模拟数据：Champion 组 (n=1000, 转化=120) vs Challenger 组 (n=1000, 转化=150)
n_control = 1000
conversions_control = 120
n_treatment = 1000
conversions_treatment = 150

# 计算转化率
p_control = conversions_control / n_control
p_treatment = conversions_treatment / n_treatment

# 合并比例
p_pool = (conversions_control + conversions_treatment) / (n_control + n_treatment)

# 标准误
se = np.sqrt(p_pool * (1 - p_pool) * (1/n_control + 1/n_treatment))

# Z 统计量
z_stat = (p_treatment - p_control) / se

# 双尾 P 值
p_value = 2 * (1 - stats.norm.cdf(abs(z_stat)))

# 95% 置信区间
z_critical = stats.norm.ppf(0.975)
diff = p_treatment - p_control
ci_lower = diff - z_critical * se
ci_upper = diff + z_critical * se

print(f"Champion 转化率: {p_control:.3f}")
print(f"Challenger 转化率: {p_treatment:.3f}")
print(f"差异: {diff:.3f}")
print(f"Z 统计量: {z_stat:.3f}")
print(f"P 值: {p_value:.4f}")
print(f"95% 置信区间: [{ci_lower:.3f}, {ci_upper:.3f}]")

if p_value < 0.05:
    print("结论: 在 α=0.05 水平下，Challenger 显著优于 Champion。")
else:
    print("结论: 在 α=0.05 水平下，差异不显著。")

2.8 统计功效与样本量估算

在实验设计阶段，需要确保样本量足够大，以便在 Challenger 确实存在提升时能够检测到它。统计功效（Statistical Power）定义为：当 H₁ 为真时，正确拒绝 H₀ 的概率。通常要求功效 ≥ 0.8。

样本量估算公式（双样本比例检验）为：

n = (Z_α/2 + Z_β)² * [p₁(1-p₁) + p₂(1-p₂)] / (p₂ - p₁)²

其中：
- Z_α/2: 显著性水平 α 对应的临界值（α=0.05 时，Z=1.96）
- Z_β: 功效 1-β 对应的临界值（功效=0.8 时，Z=0.84）
- p₁: Champion 的预期转化率
- p₂: Challenger 的预期转化率（或最小可检测提升）