2. A/B测试基础理论
2.1 A/B测试的定义
A/B测试（又称分桶测试、对照实验）是一种在受控环境下比较两个或多个版本效果的统计方法。在规则引擎场景中，A/B测试通过将流量随机分配到不同规则策略组（控制组A与实验组B），量化评估新规则对业务指标的真实影响。
核心公式： 效果提升 = (实验组指标均值 - 控制组指标均值) / 控制组指标均值 × 100%
A/B测试的三大基本原则：
- 随机化： 流量分配必须基于无偏随机算法（如Hash分桶、Cookie取模），避免系统性偏差。
- 唯一性： 同一用户在整个测试周期内始终进入同一分组，防止交叉污染。
- 独立性： 各组之间互不干扰，实验组规则变更不影响控制组流量处理逻辑。
2.2 假设检验原理
假设检验是A/B测试的统计决策框架。其核心逻辑是：先假设新规则无效（零假设），再通过样本数据判断是否有足够证据推翻该假设。
| 术语 | 符号 | 含义 | 规则引擎示例 |
|---|---|---|---|
| 零假设 | H₀ | 实验组与对照组无差异 | 新规则命中率 = 旧规则命中率 |
| 备择假设 | H₁ | 实验组与对照组存在显著差异 | 新规则命中率 ≠ 旧规则命中率 |
| 检验统计量 | Z / t / χ² | 根据样本计算的标准化数值 | 两样本比例Z检验统计量 |
| p值 | p | 在H₀为真时观察到当前结果的概率 | p < 0.05 则拒绝H₀ |
| 显著性水平 | α | 预先设定的拒绝阈值 | 通常取 0.05 或 0.01 |
决策规则：若 p ≤ α，则拒绝零假设，认为新规则效果显著；若 p > α，则无法拒绝零假设，不能认定新规则有效。
实践要点： 规则引擎A/B测试中，p值仅反映统计显著性，不反映效果大小。即使p值极小，若提升幅度仅为0.1%，业务上可能仍不值得全量上线。
2.3 第一类错误与第二类错误
在假设检验中，由于基于样本推断总体，存在两类决策错误风险。理解这两类错误是设计可靠A/B测试的基石。
两类错误之间存在权衡关系：降低α（如从0.05降至0.01）会减少假阳性，但会增大β（假阴性概率），即统计功效降低。在规则引擎场景中，通常优先控制第一类错误，避免将无效规则错误上线造成业务损失。
2.4 统计功效
统计功效（Statistical Power）定义为当备择假设为真时，正确拒绝零假设的概率，即 Power = 1 - β。它衡量A/B测试“发现真实效果”的能力。
统计功效公式： Power = P(拒绝 H₀ | H₁ 为真) = 1 - β
影响统计功效的四大因素：
- 样本量（n）： 样本量越大，功效越高。规则引擎实验中，每个分桶至少需要数千到数万条流量。
- 效应量（Effect Size）： 实验组与对照组的真实差异越大，越容易被检测到，功效越高。
- 显著性水平（α）： α越大（如0.05→0.10），功效越高，但第一类错误风险增加。
- 数据变异程度（σ）： 指标方差越小，功效越高。规则命中率等比例型指标方差相对可控。
常见误区： 许多规则引擎团队在A/B测试中只关注p值是否小于0.05，却忽略了统计功效。低功效实验即使p值显著，结果也极不稳定，重复实验时结论可能反转。建议在实验设计阶段使用功效分析工具（如G*Power、statsmodels）预先计算所需样本量。
2.5 规则引擎A/B测试的统计流程
将上述理论应用于规则引擎场景，完整的统计评估流程如下：
- 定义指标： 确定核心评估指标（如规则命中率、转化率、平均响应耗时）。
- 设定参数： 确定显著性水平α（通常0.05）、期望功效（通常0.80）、最小可检测效应量（MDE）。
- 计算样本量： 使用功效分析确定每个分桶所需最小流量。
- 随机分流： 通过Hash分桶将流量均匀分配到控制组和实验组。
- 运行实验： 持续收集数据至达到预定样本量，期间不提前查看结果。
- 执行检验： 计算检验统计量和p值，判断是否拒绝零假设。
- 评估效果： 结合效应量置信区间，评估业务实际提升幅度。
- 决策上线： 仅当统计显著且业务效果正向时，全量发布新规则。
工程建议： 在规则引擎平台中内置统计计算模块，自动完成p值计算、置信区间估计和功效报告，减少人工计算错误。推荐使用Python的scipy.stats或R的pwr包实现自动化统计流水线。