2. A/B测试基础：假设检验原理、零假设与备择假设、第一类与第二类错误
A/B测试本质上是一种统计假设检验（Hypothesis Testing）过程。理解假设检验的核心原理，是正确设计实验、解读结果、避免误判的前提。本节将系统梳理假设检验的数学框架、两类假设的定义以及两类错误的权衡。
2.1 假设检验的基本原理
假设检验是一种基于样本数据对总体参数或模型效果做出推断的统计方法。其核心逻辑是：先提出一个“默认”假设，然后计算在默认假设成立的情况下，观察到当前数据（或更极端数据）的概率；如果这个概率非常小，我们就拒绝默认假设，转而支持“备择”假设。
在A/B测试的模型解释场景中，我们通常关心：新加入的解释方法（如SHAP值、LIME解释）是否比基线解释方法（如仅使用特征重要性）在某个指标（如解释一致性、用户理解度）上有显著提升？
关键思想： 假设检验不是证明“新方法绝对有效”，而是通过反证法，看是否有足够证据推翻“新方法无效”的默认立场。
2.2 零假设与备择假设
每一次假设检验都包含两个互斥的假设：
| 假设类型 | 符号 | 含义 | 在A/B测试模型解释中的示例 |
|---|---|---|---|
| 零假设（Null Hypothesis） | H₀ | “无差异”或“无效果”的默认立场。通常代表现状或基线。 | “使用SHAP解释与使用特征重要性解释，用户对模型决策的理解准确率无差异。” |
| 备择假设（Alternative Hypothesis） | H₁ 或 Hₐ | “有差异”或“有效果”的研究立场。通常是研究者希望证明的方向。 | “使用SHAP解释的用户理解准确率高于使用特征重要性的用户。” |
备择假设又分为三种常见形式：
- 双侧检验： H₁: μ₁ ≠ μ₂（新方法效果与基线不同，可能更好或更差）
- 单侧检验（右尾）： H₁: μ₁ > μ₂（新方法效果优于基线）—— 最常用于A/B测试
- 单侧检验（左尾）： H₁: μ₁ < μ₂（新方法效果劣于基线）
实践建议： 在模型解释的A/B测试中，除非有明确理由认为新方法可能更差，否则通常使用单侧右尾检验（H₁: 新方法 > 基线），因为这样统计功效更高，更容易检测到正向提升。
2.3 第一类错误与第二类错误
由于我们基于样本做推断，不可能100%正确。假设检验存在两种可能的错误：
| 实际真相：H₀为真 | 实际真相：H₁为真 | |
|---|---|---|
| 我们拒绝H₀ | ❌ 第一类错误（假阳性） 错误地认为新方法有效 |
✅ 正确决策（真阳性） |
| 我们未拒绝H₀ | ✅ 正确决策（真阴性） | ❌ 第二类错误（假阴性） 错误地认为新方法无效 |
两类错误的详细对比
| 特性 | 第一类错误（α） | 第二类错误（β） |
|---|---|---|
| 通俗理解 | “虚惊一场” —— 把无效当有效 | “错失良机” —— 把有效当无效 |
| 符号 | α（显著性水平） | β |
| 常用阈值 | 0.05 或 0.01 | 0.20（对应统计功效 0.80） |
| 在模型解释A/B测试中的后果 | 错误上线一个实际上没有帮助的解释方法，浪费工程资源，误导用户 | 错过一个真正更好的解释方法，导致模型可解释性停滞不前 |
| 控制方法 | 降低α阈值（如从0.05降到0.01） | 增加样本量、提高效应量、降低α |
重要权衡： α 和 β 是此消彼长的关系。降低 α（更严格地拒绝 H₀）会导致 β 增大（更难检测到真实效果）。在模型解释实验中，建议根据业务成本来平衡：如果错误上线一个差解释的代价很高，则优先控制 α；如果错过一个好解释的代价更高，则优先控制 β（即提高统计功效）。
2.4 假设检验的完整流程
在A/B测试的模型解释场景中，假设检验通常遵循以下步骤：
- 定义指标： 确定衡量解释质量的指标（如解释一致性得分、用户任务完成时间、信任度评分）。
- 建立假设： 设定 H₀ 和 H₁。例如 H₀: μ_SHAP ≤ μ_baseline；H₁: μ_SHAP > μ_baseline。
- 选择检验方法： 根据数据类型选择 t 检验、Mann-Whitney U 检验或卡方检验。
- 设定显著性水平： 通常 α = 0.05。
- 收集数据： 随机分配用户到对照组（基线解释）和实验组（新解释方法）。
- 计算检验统计量与 p 值： 使用统计软件计算。
- 做出决策： 如果 p < α，拒绝 H₀，认为新解释方法有显著提升；否则，未拒绝 H₀。
2.5 假设检验决策空间可视化
下图展示了假设检验中四种可能的决策结果，以及两类错误在其中的位置：
2.6 p值：决策的量化依据
p值是假设检验中最常用的决策工具。其定义为：在零假设 H₀ 为真的前提下，观察到当前样本结果（或更极端结果）的概率。
- p值小（p < α）： 说明在 H₀ 为真的假设下，当前数据出现的概率极低。要么是小概率事件发生了，要么是 H₀ 本身不成立。我们选择拒绝 H₀。
- p值大（p ≥ α）： 说明当前数据在 H₀ 为真的情况下并不罕见，我们没有足够证据拒绝 H₀。
常见误解澄清： p值不是“H₀ 为真的概率”，也不是“新方法有效的概率”。p值是在假设 H₀ 为真的前提下，数据出现的条件概率。这是一个微妙但重要的区别。
2.7 在模型解释A/B测试中的实际应用
假设你正在测试一种新的局部解释方法（LIME）是否比全局特征重要性更能帮助数据科学家理解模型预测：
- 指标： 解释准确率（用户能否正确回答“模型为什么做出这个预测？”）
- H₀： μ_LIME ≤ μ_importance（LIME不优于特征重要性）
- H₁： μ_LIME > μ_importance（LIME优于特征重要性）
- α： 0.05
- 样本量： 每组 50 人
- 结果： LIME组平均准确率 78%，特征重要性组 65%，p = 0.003
- 决策： p < 0.05，拒绝 H₀，认为LIME解释方法有统计显著的提升。
进阶提示： 在模型解释实验中，除了统计显著性（p值），还应关注效应量（如Cohen's d）和实际显著性。一个统计显著但效应量极小的结果（如准确率提升0.5%），可能不值得投入工程资源部署。