核心概念：Champion模型、Challenger模型、A/B测试与多变量测试的区别、统计显著性基础
在压力测试与模型迭代场景中，Champion / Challenger 框架是驱动决策优化的核心方法论。本节将系统拆解四个关键概念：Champion 与 Challenger 模型的定义与生命周期、A/B 测试与多变量测试的本质差异，以及判断测试结果是否可信的统计显著性基础。
2.1 Champion 模型与 Challenger 模型
Champion 模型（冠军模型）是当前生产环境中表现最优、经过验证的基准模型。它承担着线上流量处理或决策输出的主要职责，是评估新模型效果的“黄金标准”。
Challenger 模型（挑战者模型）是待验证的新候选模型。它可能基于新算法、新特征或新参数训练，目标是在特定指标上超越 Champion。Challenger 模型在正式全量上线前，必须经过严格的压力测试与统计验证。
关键生命周期： Champion 并非永久固定。当某个 Challenger 在统计上显著胜出，且通过压力测试验证后，它将晋升为新的 Champion，原 Champion 则退役或归档。
2.2 A/B 测试与多变量测试的区别
在 Champion/Challenger 框架中，A/B 测试和多变量测试是两种最常用的验证手段。它们的核心区别在于变量数量与实验目的。
| 对比维度 | A/B 测试 | 多变量测试 |
|---|---|---|
| 变量数量 | 单一变量（如模型版本） | 多个变量同时变化（如模型、特征、阈值） |
| 实验组数 | 通常 2 组（A 组 vs B 组） | 多组（2^n 组合） |
| 主要目的 | 判断新模型是否优于旧模型 | 寻找最优变量组合 |
| 样本量需求 | 相对较小 | 较大（需覆盖所有组合） |
| 分析复杂度 | 低（直接对比指标） | 高（需考虑交互效应） |
| 适用场景 | 模型版本迭代、单一策略变更 | 多因素调优、复杂系统配置 |
实践建议： 在 Champion/Challenger 压力测试中，优先使用 A/B 测试验证单个 Challenger 模型。当需要同时调整多个参数（如模型结构、特征集、阈值）时，再考虑多变量测试。
2.3 统计显著性基础
无论使用 A/B 测试还是多变量测试，判断 Challenger 是否真正优于 Champion，都必须依赖统计显著性检验。没有统计显著性的结论，可能只是随机波动导致的假象。
2.3.1 核心概念
- 零假设（H₀）： Challenger 与 Champion 的性能无差异（或 Challenger 不优于 Champion）。
- 备择假设（H₁）： Challenger 的性能显著优于 Champion。
- p 值： 在零假设为真的前提下，观察到当前结果（或更极端结果）的概率。p 值越小，拒绝零假设的证据越强。
- 显著性水平（α）： 通常设为 0.05 或 0.01。当 p 值 < α 时，认为结果具有统计显著性。
- 置信区间： 估计真实效果的范围。若置信区间不包含 0（或 1，取决于指标），则结果显著。
常见误区： p 值 < 0.05 并不代表 Challenger 一定“更好”，也不代表效果“很大”。它只说明观察到的差异不太可能由随机误差引起。实际业务效果（效应量）和压力测试下的稳定性同样重要。
2.3.2 统计显著性检验流程
- 设定假设： 明确 H₀ 和 H₁，确定显著性水平 α（如 0.05）。
- 选择检验方法： 根据指标类型（均值、比率、分位数）选择 t 检验、z 检验、卡方检验或 Bootstrap 方法。
- 收集数据： 在压力测试中运行 Champion 和 Challenger，记录关键性能指标（如吞吐量、P99 延迟、错误率）。
- 计算检验统计量与 p 值： 使用统计软件或库（如 Python 的 scipy.stats）计算。
- 做出决策： 若 p 值 < α，拒绝 H₀，认为 Challenger 显著优于 Champion；否则，保留 H₀，不能认定 Challenger 更优。
2.3.3 常用检验方法速查表
| 指标类型 | 适用场景 | 推荐检验方法 | Python 示例 |
|---|---|---|---|
| 均值（如平均延迟） | 两组独立样本，正态分布 | 独立样本 t 检验 | scipy.stats.ttest_ind(a, b) |
| 比率（如错误率） | 二分类结果，大样本 | z 检验（比例检验） | statsmodels.stats.proportion.proportions_ztest |
| 分位数（如 P99 延迟） | 非正态分布，稳健比较 | Bootstrap 置信区间 | np.percentile(bootstrap_diffs, [2.5, 97.5]) |
| 分类变量（如状态码分布） | 频数比较 | 卡方检验 | scipy.stats.chi2_contingency(table) |
压力测试中的特殊考量： 压力测试数据往往存在自相关（时间序列效应）和异方差性（波动随负载变化）。建议在计算 p 值前，先对数据进行去趋势或使用稳健标准误。Bootstrap 方法因其不依赖分布假设，在压力测试场景中尤为推荐。
2.3.4 效应量与样本量
统计显著性并不等同于实际重要性。一个 Challenger 可能在统计上显著优于 Champion，但提升幅度只有 0.1%，在业务上毫无意义。因此，必须同时关注效应量（如 Cohen's d、提升百分比）和置信区间。
此外，样本量直接影响检验的统计功效（power）。样本量过小，即使 Challenger 真实效果存在，也可能无法检测到。在压力测试前，建议使用功效分析（如 statsmodels.stats.power.tt_ind_solve_power）估算所需的最小样本量。
核心公式速记： 统计显著性（p 值）≈ 效应量 × √样本量 / 标准差。增大样本量或提高效应量，都能提升发现真实差异的能力。