3. A/B测试核心指标：转化率、置信区间、p值、统计功效、效应量
A/B测试的结论并非来自主观感受，而是由一组严谨的统计指标支撑。在模型解释场景中，这些指标帮助我们判断：新加入的解释模块是否显著提升了用户对模型决策的理解度，或者是否可靠地降低了误判率。本章将逐一拆解五个核心指标，并说明它们在模型解释A/B测试中的具体含义。
3.1 转化率（Conversion Rate）
转化率是A/B测试中最基础的观测指标，代表用户完成目标行为的比例。在模型解释的上下文中，“转化”可以定义为多种成功事件：
- 理解转化：用户正确回答关于模型决策原因的问题。
- 信任转化：用户在接受解释后，采纳了模型的推荐。
- 效率转化：用户使用解释工具后，完成审核任务的时间缩短到阈值以下。
计算公式为：
转化率 = 成功转化用户数 / 总暴露用户数 × 100%在A/B测试中，我们通常比较对照组（A组，无解释或旧解释）与实验组（B组，新解释）的转化率差异。
3.2 置信区间（Confidence Interval）
单看转化率差异是不够的——我们需要知道这个差异的可信范围。置信区间给出了一个范围，该范围以一定的置信水平（通常为95%）包含真实的转化率差异。
在模型解释测试中，置信区间帮助我们回答：
- 新解释带来的提升是“稳定的”还是“偶然的”？
- 如果重复测试100次，95次的结果会落在哪个区间内？
置信区间的宽度受样本量和数据波动性影响：
| 因素 | 变化方向 | 对置信区间的影响 |
|---|---|---|
| 样本量增大 | ↑ | 区间变窄（估计更精确） |
| 数据波动性增大 | ↑ | 区间变宽（估计更模糊） |
| 置信水平提高（95% → 99%） | ↑ | 区间变宽（要求更高可靠性） |
3.3 p值（p-value）
p值是统计假设检验中的核心输出，用于衡量反对零假设的证据强度。在A/B测试中，零假设通常为“两组转化率无差异”。
p值的含义：
- p值小（通常 < 0.05）：观察到的差异不太可能是由随机波动引起的，拒绝零假设，认为差异显著。
- p值大（≥ 0.05）：没有足够证据拒绝零假设，差异可能只是随机波动。
在模型解释测试中，p值帮助我们避免“过度解读”偶然波动。例如，如果p值为0.20，即使实验组转化率看起来更高，我们也应谨慎下结论，因为这种差异有20%的可能性是随机产生的。
3.4 统计功效（Statistical Power）
统计功效是测试检测到真实效应的能力，即当零假设为假时，正确拒绝它的概率。功效 = 1 - β，其中β是第二类错误（假阴性）的概率。
影响统计功效的关键因素：
| 因素 | 对功效的影响 | 模型解释测试建议 |
|---|---|---|
| 样本量 | 样本越大，功效越高 | 至少需要数百到数千用户 |
| 效应量 | 效应越大，功效越高 | 小改进需要更大样本 |
| 显著性水平 α | α 越大，功效越高（但假阳性风险增加） | 通常固定 α = 0.05 |
| 数据波动性 | 波动越小，功效越高 | 控制实验环境，减少噪声 |
3.5 效应量（Effect Size）
p值告诉我们差异是否“显著”，但没告诉我们差异是否“重要”。效应量正是用来量化差异实际大小的指标，它不受样本量影响。
在模型解释A/B测试中，常用的效应量指标包括：
- Cohen's d：标准化均值差，适用于连续型指标（如理解度评分）。
- 风险差（Risk Difference）：转化率绝对差值，直观易懂。
- 相对提升率：实验组转化率相对于对照组的提升百分比。
效应量的解释参考（Cohen's d）：
| 效应量大小 | Cohen's d 值 | 模型解释场景示例 |
|---|---|---|
| 小效应 | 0.2 | 解释模块使理解度评分提升0.2个标准差 |
| 中等效应 | 0.5 | 解释模块使误判率降低0.5个标准差 |
| 大效应 | 0.8 | 解释模块使信任转化率提升0.8个标准差 |
3.6 指标关系总结
五个核心指标并非孤立存在，它们共同构成了A/B测试的决策链条：
- 转化率提供原始观测数据。
- 置信区间给出差异的可信范围。
- p值判断差异是否由随机性引起。
- 统计功效确保测试有能力检测到真实效应。
- 效应量评估差异的实际重要性。
在模型解释场景中，一个完整的测试报告应包含以上所有指标，才能做出可靠的业务决策。