4. 实验设计原则：随机化、样本量计算、分流策略、AA测试与A/B测试

在模型解释场景中，A/B测试的实验设计直接决定结论的可信度。本章聚焦四个核心原则：随机化消除选择偏差，样本量计算保证统计功效，分流策略确保流量公平分配，AA测试与A/B测试验证实验系统的稳定性与效果差异。

4.1 随机化：消除选择偏差的基石

随机化确保每个实验单元（用户、样本或模型实例）被分配到对照组或实验组的概率相等，从而在统计上平衡已知和未知的混淆变量。在模型解释的A/B测试中，随机化通常应用于：

• 用户级随机化：将用户随机分配到不同解释展示方案（如SHAP vs. LIME）。
• 样本级随机化：将模型预测的样本随机分配到不同解释方法组。
• 模型版本级随机化：将流量随机导向不同模型版本的解释接口。

随机化的核心价值在于：它使得两组在实验开始前“统计等价”，任何后续观测到的差异都可以归因于实验处理（解释方法的不同），而非预先存在的组间差异。

4.2 样本量计算：确保统计功效

样本量不足会导致实验无法检测到真实存在的差异（第二类错误），而样本量过大则浪费计算资源。样本量计算依赖于以下参数：

对于二分类指标（如用户是否接受解释），样本量计算公式为：

n = (Z_α/2 + Z_β)² × [p₀(1-p₀) + p₁(1-p₁)] / (p₁ - p₀)²

其中：
  Z_α/2 = 1.96（对应 α=0.05，双尾检验）
  Z_β   = 0.84（对应 功效=0.80）
  p₀    = 对照组基线值
  p₁    = 实验组预期值

4.3 分流策略：流量分配的艺术

分流策略决定了如何将实验单元分配到不同组别。常见的分流策略包括：

• 完全随机分流：每个单元独立随机分配到组，简单但可能导致短期组间样本量不平衡。
• 分层随机分流：按关键特征（如用户活跃度、模型版本）分层，在每层内随机分配，减少层间方差。
• 桶分流（Hash-based）：使用用户ID或样本ID的哈希值取模分配，保证同一用户始终进入同一组，适合长期实验。
• 自适应分流：根据实时结果动态调整分配比例，如Multi-Armed Bandit算法，但会增加复杂性。

在模型解释场景中，推荐使用分层随机分流，因为不同模型版本或不同数据分布的解释效果差异可能很大，分层可以控制这些已知变异源。

4.4 AA测试与A/B测试：验证与发现

AA测试（A/A测试）是将流量随机分为两组，但两组接受完全相同的处理（如相同的解释方案）。其目的是验证实验系统的可靠性：

• 验证随机化是否成功：如果AA测试中两组出现显著差异，说明随机化过程存在偏差。
• 检测指标稳定性：评估指标在无处理差异时的自然波动范围。
• 校准显著性水平：如果AA测试中显著率超过α（如5%），说明实验系统存在假阳性膨胀。

A/B测试则是将流量随机分为两组，分别施加不同的处理（如SHAP vs. LIME解释），然后比较两组在核心指标上的差异。

4.5 实验设计流程总结

一个完整的模型解释A/B测试实验设计应遵循以下步骤：

1. 定义目标和指标：明确要比较的解释方法，确定核心指标（如解释一致性、用户理解度）。
2. 计算样本量：基于最小可检测效应量和基线值，计算所需样本量。
3. 设计分流策略：选择分层随机分流，确定分层变量（如模型版本、数据域）。
4. 执行AA测试：验证实验系统无系统性偏差，确认指标稳定性。
5. 执行A/B测试：随机分配流量，收集数据，进行统计检验。
6. 结果解读：结合效应量和置信区间，判断解释方法的实际改进是否具有实践意义。