3. A/B测试基础：什么是A/B测试？统计显著性、置信区间、样本量计算

A/B测试（又称分桶测试或对照实验）是压力测试与性能优化中最严谨的因果推断工具。在压测场景中，我们通过A/B测试来回答一个核心问题：“系统变更（如调整线程池大小、切换缓存策略）是否带来了统计上显著的性能提升？” 本节将拆解A/B测试的底层逻辑与关键统计指标，为后续结合压力测试的实战案例打下理论基础。

3.1 A/B测试在压力测试中的工作流程

在压测场景中，A/B测试并非简单的“跑两次脚本”，而是一个结构化的实验流程。下图展示了从流量分桶到决策输出的完整链路：

3.2 统计显著性：判断差异是否真实

统计显著性（Statistical Significance）用 p值 来衡量。p值表示：假设两组性能无差异（零假设），观察到当前差异（或更极端差异）的概率。

• p ≤ 0.05：差异在统计上显著，拒绝零假设，认为变更有效。
• p > 0.05：差异不显著，不能排除随机波动，维持现状。

在压测场景中，常见的误区是“只看均值不看显著性”。例如，B组平均延迟比A组低5ms，但如果p=0.15，则这个差异有15%的概率是随机噪声造成的，不应贸然上线。

3.3 置信区间：量化效果范围

置信区间（Confidence Interval, CI）给出了变更效果的估计范围，比单一的p值提供更多信息。95%置信区间意味着：如果重复实验100次，有95次计算出的区间会包含真实的性能差异。

上表展示了置信区间的三种典型结果：区间不包含0（显著）、区间全为正（显著）、区间包含0（不显著）。在压测报告中，同时报告p值和置信区间是行业最佳实践。

3.4 样本量计算：实验需要跑多久？

样本量（Sample Size）直接决定实验的统计功效（Statistical Power，通常要求 ≥ 0.8）。样本量过小，容易漏掉真实差异（假阴性）；样本量过大，浪费压测资源，且可能检测到“统计显著但实际无意义”的微小差异。

计算样本量需要四个参数：

• 效应量（Effect Size）：你希望检测到的最小性能差异（如P99延迟降低10ms）。
• 显著性水平（α）：通常取0.05。
• 统计功效（1-β）：通常取0.80。
• 标准差（σ）：从基线压测数据中预估。

对于两独立样本t检验，每组所需样本量公式为：

n = 2 * ((Z_α/2 + Z_β)² * σ²) / Δ²

其中：
Z_α/2 = 1.96（对应α=0.05，双尾）
Z_β   = 0.84（对应β=0.20，功效0.80）
σ     = 基线指标的标准差
Δ     = 最小可检测差异（效应量）

3.5 压测A/B测试的常见陷阱与最佳实践