3. 效应量的含义与估算
在 A/B 测试的样本量计算中，效应量（Effect Size） 是决定所需样本量的核心输入之一。它衡量的是实验组与对照组之间差异的大小，不受样本量影响，直接反映干预效果的实际幅度。本章将系统讲解效应量的概念、三种常用度量指标、业务场景下的预估方法，以及常见误区和应用边界。
3.1 什么是效应量
效应量是量化两组差异程度的标准化指标，与 p 值不同——p 值告诉你差异是否统计显著，而效应量告诉你差异有多大。在样本量计算公式中，效应量通常出现在分母位置：效应量越大，所需样本量越小；效应量越小，所需样本量越大。
效应量的核心价值在于：去量纲化和跨实验可比。它让我们能够比较不同指标、不同量纲的实验效果，也为样本量计算提供了统一的输入参数。
3.2 三种核心效应量指标
A/B 测试中最常用的效应量指标有三种，分别适用于不同的变量类型和业务场景。
| 维度 | Cohen's d | 绝对提升率 | 相对提升率 |
|---|---|---|---|
| 公式 | (μ₁ − μ₂) / σ | p₁ − p₂ | (p₁ − p₂) / p₂ × 100% |
| 变量类型 | 连续变量（如时长、金额） | 二元指标（如转化率、点击率） | 二元或连续指标 |
| 解读方式 | 标准化均值差（标准差单位） | 百分比点差（绝对差值） | 相对提升百分比 |
| 跨实验可比性 | 高（无量纲） | 低（依赖基线） | 中（消除基线差异） |
| 业务直观性 | 低 | 高 | 中 |
| 常用参考阈值 | 小 0.2 / 中 0.5 / 大 0.8 | 视业务基线而定 | 通常 5%–20% 为常见范围 |
Cohen's d 的详细说明
Cohen's d 是最经典的标准化效应量指标，适用于连续型结果变量。其计算公式为：
d = (实验组均值 − 对照组均值) / 合并标准差其中合并标准差 σ 通常取两组标准差的加权平均。Cohen 本人提出了经验参考：d = 0.2 为小效应，0.5 为中效应，0.8 为大效应。但请注意，这些阈值来自社会科学领域，不能盲目套用到电商、广告等业务场景。
绝对提升率与相对提升率的适用场景
绝对提升率（Absolute Treatment Effect, ATE）直接反映实验带来的百分点变化，如转化率从 3.2% 提升到 3.8%，绝对提升 0.6 个百分点。它最直观，但受基线水平影响很大——同样是 0.6 个点的提升，基线 1% 和基线 10% 的业务含义截然不同。
相对提升率（Relative Lift）以百分比形式表示提升幅度，消除了基线差异，更适合跨指标、跨场景对比。仍是上面例子，相对提升率 = (3.8% − 3.2%) / 3.2% × 100% = 18.75%。
3.3 效应量的业务预估方法
在样本量计算之前，你必须给出一个预期的效应量——即你希望实验能检测到的最小效果。这个值不是拍脑袋决定的，而是基于以下流程逐步收敛：
- 收集历史基线数据：提取对照组核心指标的均值、标准差、转化率等，作为效应量计算的基准分母。
- 参考行业基准：同行业类似实验的历史效应量区间，可作为重要参考。例如电商类 A/B 测试的相对提升率通常在 5%–15%。
- 结合业务判断：与产品、运营团队沟通，明确"什么样的提升才值得上线"。这个值通常受成本、开发资源、用户体验风险等因素约束。
- 设定最小可检测效应量（MDE）：将上述信息综合，确定你不想错过的最小效应量。MDE 越小，所需样本量越大，实验成本越高。
- 敏感性分析：取几个候选效应量（如 0.3、0.5、0.7 或 5%、10%、15%），分别计算所需样本量，让决策者看到"成本—灵敏度"的权衡曲线。
3.4 原理图解：效应量度量体系与业务预估
下图展示了三种效应量指标的定位关系，以及业务预估流程中如何收敛到最小可检测效应量：
图中上层展示三种效应量指标的定位关系，下层展示业务预估流程中如何从历史数据和行业基准出发，结合业务判断，最终收敛到最小可检测效应量（MDE），作为样本量计算的关键输入。
3.5 类比：用一把"通用尺子"衡量变化
想象你要测量两个果园的苹果重量差异。你可以用三种方式描述：
- Cohen's d 就像用"标准差"作为刻度——"差异相当于 0.5 个标准差"。这把尺子可以跨果园、跨水果种类使用，但不太直观。
- 绝对提升率 就像直接称重——"A 园比 B 园平均每个苹果重 15 克"。非常直观，但无法直接比较不同大小苹果的效果。
- 相对提升率 就像计算百分比——"A 园比 B 园苹果重了 12%"。消除了基线差异，适合对比不同果园的改进效率。
在 A/B 测试中，你需要的"尺子"取决于业务场景：面向技术团队汇报时多用 Cohen's d，面向业务方时多用绝对/相对提升率。但样本量计算时，三者可以互相转换，关键是要统一到同一个框架下。
3.6 常见误区
- 误区一：把统计显著性和效应量混为一谈。 p 值 < 0.05 只说明差异不是由随机波动造成的，并不说明差异有多大。大样本下即使极小的效应量也会显著，反之亦然。
- 误区二：盲目套用 Cohen's d 的 0.2/0.5/0.8 阈值。 这些阈值来自社会科学，在电商、广告、推荐系统等领域，0.1 的 d 可能就是巨大业务价值。应结合业务实际定义"小/中/大"。
- 误区三：用观测效应量代替预估效应量。 实验结束后反推的效应量是观测值，不能用于样本量计算。样本量计算必须基于实验前的预估值（MDE）。
- 误区四：绝对提升率和相对提升率混用而不做说明。 两者数值差异很大（如 0.6% vs 18.75%），汇报时必须明确标注，避免误导决策。
- 误区五：认为效应量越大越好。 效应量大可能意味着干预效果明显，但也可能伴随更高的实现成本、用户体验风险或负向指标波动。评估实验应综合考虑效应量与业务代价。
3.7 练习题
题目：某电商平台对商品详情页进行改版，对照组转化率为 3.2%，实验组转化率为 3.8%。通过历史数据已知两组转化率的合并标准差约为 1.5 个百分点（即 σ ≈ 1.5%）。请