3. A/B测试基础：定义、统计学原理与实验设计原则

A/B测试是数据驱动决策的核心工具，在规则引擎场景中，它帮助我们验证规则变更（如调整风控阈值、优化推荐策略）是否真正带来业务指标的提升。本章从定义出发，深入统计学原理与实验设计原则，为后续实战打下坚实基础。

3.1 A/B测试的定义

A/B测试（又称分桶测试、对照实验）是一种通过对比两个或多个版本（A为对照版本，B为实验版本）在真实用户流量上的表现，来评估版本效果差异的统计方法。在规则引擎中，A/B测试通常用于验证规则参数、规则逻辑或规则组合的变更效果。

3.2 统计学原理

A/B测试的结论必须建立在统计学基础上，而非凭感觉判断。以下三个概念是理解测试结果的关键。

3.2.1 假设检验

假设检验是判断观察到的差异是否由真实效果引起，而非随机波动的统计框架。它包含两个对立的假设：

• 零假设 (H₀)： 实验组与对照组无差异，即新规则没有效果。
• 备择假设 (H₁)： 实验组与对照组存在显著差异，即新规则有效果。

通过计算统计量（如t值、z值）并查表得到p值，若p值小于预设的显著性水平（通常为0.05），则拒绝零假设，认为差异具有统计学意义。

3.2.2 置信区间

置信区间给出了真实效果可能落入的范围，比单一的p值提供更多信息。例如，95%置信区间为[0.5%, 2.5%]表示：我们有95%的把握认为新规则带来的真实提升在0.5%到2.5%之间。

3.2.3 p值

p值是在零假设为真的前提下，观察到当前结果（或更极端结果）的概率。p值越小，说明零假设越不可信。

3.3 实验设计原则

好的实验设计是A/B测试成功的保障。在规则引擎场景中，以下原则尤为重要。

3.3.1 随机化原则

用户必须被随机分配到对照组和实验组，以消除选择偏差。在规则引擎中，通常基于用户ID、设备ID或会话ID进行哈希取模分流。

3.3.2 样本量计算

样本量不足会导致测试结果不可靠（统计功效低）。样本量取决于以下因素：

• 基线转化率： 对照组当前的指标值。
• 最小可检测效果 (MDE)： 你认为有业务意义的最小提升幅度。
• 显著性水平 (α)： 通常设为0.05。
• 统计功效 (1-β)： 通常设为0.80。

常用样本量计算公式（两组独立比例检验）：

n = (Z_α/2 + Z_β)² × [p₁(1-p₁) + p₂(1-p₂)] / (p₂ - p₁)²

其中：
- Z_α/2 = 1.96（对应α=0.05）
- Z_β = 0.84（对应β=0.20，功效=0.80）
- p₁ = 对照组预期转化率
- p₂ = 实验组预期转化率

3.3.3 单一变量原则

每次实验只改变一个变量，否则无法确定效果提升是由哪个变化引起的。在规则引擎中，这意味着：

• 一次只修改一条规则的参数（如只改阈值，不改逻辑）。
• 一次只添加或删除一条规则。
• 如果必须同时修改多个规则，使用多变量测试（MVT）或分层实验。

3.3.4 实验时长与流量分配

实验时长需覆盖一个完整的业务周期（如一周），以消除星期效应。流量分配需平衡统计功效与风险：

3.3.5 实验设计流程总结