4. A/B分流基础：A/B测试的定义、统计学原理、分流策略

A/B测试（又称分桶测试、对照实验）是压力测试回放验证中判断系统变更是否带来正向效果的核心手段。其基本思想是：将线上流量随机或按规则划分为两组或多组，一组运行基准版本（对照组，Control），另一组运行待验证版本（实验组，Treatment），通过对比两组的关键性能指标（如P99延迟、错误率、吞吐量）来判断变更是否有效。

4.1 A/B测试的定义与核心要素

在压力测试回放场景中，A/B测试并非简单的“功能开关”，而是一种可量化的因果推断实验。其核心要素包括：

4.2 统计学原理：为什么需要显著性检验？

仅仅看到实验组的P99延迟比对照组低5ms，并不能直接断定新版本更优——这种差异可能来自随机波动。因此，A/B测试必须依赖统计学原理进行假设检验。

4.2.1 核心概念

• 原假设（H₀）： 新版本与旧版本在关键指标上无显著差异（μ实验 = μ对照）。
• 备择假设（H₁）： 新版本与旧版本存在显著差异（μ实验 ≠ μ对照，或单侧 μ实验 < μ对照）。
• P值： 在原假设为真的前提下，观察到当前样本差异（或更极端差异）的概率。通常设定显著性水平 α = 0.05，当 P < 0.05 时拒绝原假设。
• 统计功效（Power）： 当真实差异存在时，正确拒绝原假设的概率。一般要求 Power ≥ 0.8。
• 置信区间： 对指标差异的区间估计，例如“新版本使P99延迟降低 3ms ~ 8ms（95%置信水平）”。

4.2.2 常见统计检验方法

4.3 分流策略：随机、哈希与分层

分流策略决定了流量如何被分配到不同的实验组。选择不当会导致分流偏倚（分组不均衡）或流量污染（同一用户进入不同组）。以下是三种主流策略的对比。

4.3.1 随机分流（True Random）

对每个到达的请求或用户，使用真随机数生成器（或高质量的伪随机数生成器）决定其分组。适用于无状态的短期实验。

• 优点： 实现简单，理论上能保证大样本下的组间均衡。
• 缺点： 同一用户的不同请求可能进入不同分组，破坏用户级实验的连续性；无法保证小样本下的均衡性。
• 适用场景： 单次请求级别的压力测试，不关心用户会话连续性。

4.3.2 哈希分流（Consistent Hashing）

对用户ID或请求ID计算哈希值（如MD5、MurmurHash），然后对哈希值取模映射到分组。这是最常用的分流方式。

• 优点： 确定性——同一ID始终进入同一分组；支持分层实验（通过哈希盐值隔离不同实验）；计算开销低。
• 缺点： 如果分组数量变化（如从2组变为3组），哈希取模会导致大量用户重新分配（可通过一致性哈希缓解）。
• 适用场景： 用户级A/B测试、长期运行的回放验证。

4.3.3 分层分流（Stratified Sampling）

先按某些关键特征（如用户地域、请求类型、流量来源）将总体划分为若干层（Stratum），然后在每一层内独立进行随机或哈希分流。

• 优点： 保证各层内的对照组和实验组分布均衡，减少层间差异带来的方差；提升统计功效。
• 缺点： 需要预先定义分层变量；分层过多可能导致某些层样本量过小。
• 适用场景： 流量存在明显异质性（如读请求与写请求混合），需要控制混杂变量。

4.4 分流策略对比与选择

4.5 分流策略架构图

下图展示了在压力测试回放平台中，流量从录制到回放、再到A/B分流的完整链路。其中分流模块位于回放引擎之前，负责将流量按策略分配到不同的处理管道。

4.6 分层分流示意图

当流量具有明显异质性时，分层分流能有效降低组间方差。下图展示了按“请求类型”分层后，在每一层内独立进行哈希分流的过程。

4.7 实践中的注意事项

• 样本量计算： 在实验开始前，使用功效分析（Power Analysis）确定所需的最小样本量。对于P99等尾部指标，所需样本量通常比均值指标大10~100倍。
• 多重比较校正： 如果同时观察多个指标（延迟、错误率、CPU），需使用Bonferroni校正或FDR控制，避免因多重比较导致假阳性。
• 分流一致性： 确保分流模块在回放引擎的最上游执行，避免下游组件因分流不一致而产生污染。
• 灰度发布与A/B测试的区别： 灰度发布是逐步放量（如1%→5%→100%），目的是降低风险；A/B测试是并行对比，目的是验证因果。两者可以结合使用。