4. A/B测试设计原则：样本量计算、最小可检测效应与分流策略

A/B测试的统计可靠性并非天然保证，而是严格设计的结果。在金融风险模型评估中，错误的样本量或失衡的分流将直接导致误判模型优劣，带来真金白银的损失。本节围绕三个核心设计原则展开：样本量计算（功效分析）、最小可检测效应（MDE）、分流策略（随机/分层/桶）。

4.1 样本量计算：功效分析

样本量不足会使测试无法检测出真实差异（假阴性）；样本量过大则浪费计算资源与时间。功效分析（Power Analysis）在给定显著性水平 α、统计功效 1-β、效应量 d 的前提下，计算所需最小样本量。

常用计算公式（双样本比例检验近似）：

n = ( (Z_α/2 + Z_β)² × (p1×(1-p1) + p2×(1-p2)) ) / (p2 - p1)²

其中：
Z_α/2 = 1.96（α=0.05 双侧）
Z_β   = 0.84（功效=0.80）
p1    = 对照组预期指标值
p2    = 实验组预期指标值

4.2 最小可检测效应（MDE）

MDE（Minimum Detectable Effect）是指在给定样本量和显著性水平下，测试能够以指定功效检测出的最小真实差异。MDE 与样本量呈反比：样本量越大，能检测到的效应越小。

• MDE 过小：需要极大样本量，测试周期过长，业务迭代受阻。
• MDE 过大：可能遗漏有实际业务价值的模型提升，错失优化机会。
• 金融场景建议：MDE 通常设为基线指标的 5%~20%，具体取决于风险容忍度。例如，坏账率从 1.5% 降至 1.35%（相对下降 10%）即视为有业务意义。

4.3 分流策略：随机 / 分层 / 桶

分流策略决定了用户或样本如何分配到对照组（A组）与实验组（B组）。错误的分流会引入混杂偏差，使测试结果失效。

4.3.1 完全随机分流

• 原理：每个样本以固定概率（通常 50/50）独立分配。
• 优点：实现简单，理论无偏。
• 缺点：在样本量较小时，关键特征（如信用评分、地区）可能在两组间分布不均。
• 适用：样本量充足（>10万），且特征分布稳定。

4.3.2 分层随机分流

• 原理：先按关键分层变量（如风险等级、客群类型）划分层，再在每层内随机分配。
• 优点：保证层内特征均衡，降低组间差异，提升统计功效。
• 缺点：需要事先识别分层变量，分层过多可能导致某些层样本不足。
• 适用：样本量中等（1万~10万），且存在已知强影响特征。

4.3.3 桶（分桶）分流

• 原理：基于样本的某种稳定标识（如用户ID、设备指纹）的哈希值，将整个桶分配到同一组。
• 优点：保证同一用户始终进入同一组，避免交叉污染；适合长期追踪。
• 缺点：桶数量固定，灵活性较低；若桶数过少，组间样本量可能不均衡。
• 适用：需要跨时间片重复测试，或用户行为存在强自相关性。

4.4 设计原则总结

一个可靠的 A/B 测试设计必须同时满足以下条件：

1. 样本量充足：通过功效分析确定，确保 MDE 在业务可接受范围内。
2. MDE 明确：与业务方对齐最小有意义提升，避免“统计显著但业务无用”的窘境。
3. 分流无偏：根据样本量和特征分布选择合适策略，优先使用分层随机或桶分流。
4. 预注册设计：在测试开始前固定样本量、MDE、分流策略和分析方法，避免事后篡改。