3. 实验设计原则：随机化原则、样本量计算、最小可检测效应（MDE）、显著性水平与统计功效
在反欺诈领域，A/B测试并非简单的“分组对比”。欺诈行为具有对抗性、稀疏性和长尾分布的特点，实验设计稍有偏差，便可能导致“假阳性”（误伤正常用户）或“假阴性”（漏过欺诈团伙）。本章围绕四个核心设计原则展开，确保实验结论可信、可复现。
3.1 随机化原则：消除选择偏差的基石
随机化是实验的“黄金标准”。在反欺诈场景中，随机化意味着每个用户（或每笔交易、每个设备）在进入实验前，都有完全相同的概率被分配到对照组（Control）或实验组（Treatment）。
⚠️ 反欺诈随机化的特殊挑战： 欺诈团伙常利用“设备农场”或“养号池”批量操作。如果随机化粒度是“用户ID”，但团伙控制多个ID，则可能造成组间污染。建议在随机化前先进行设备指纹去重或图聚类，确保同一团伙的实体被分到同一组。
随机化失败的典型场景：
- 时间切片偏差： 将上午的用户全部分到对照组，下午的用户全部分到实验组。欺诈行为在时间上往往有聚集性（如凌晨攻击），导致两组不可比。
- 地域切片偏差： 按IP归属地或国家分组，不同地区的欺诈率天然不同。
- 用户活跃度偏差： 仅对“高活跃用户”进行实验，忽略了沉默用户中的欺诈风险。
✅ 最佳实践： 使用分层随机化（Stratified Randomization）。先按用户风险等级（高、中、低）分层，再在每层内进行随机分配。这能保证两组在风险分布上一致，提升统计功效。
3.2 样本量计算：实验可信度的数学保障
样本量不足是反欺诈A/B测试最常见的失败原因。欺诈率通常极低（如0.1%），需要大量样本才能检测出策略效果。样本量计算依赖四个参数：
| 参数 | 符号 | 说明 | 反欺诈典型值 |
|---|---|---|---|
| 显著性水平 | α | 犯第一类错误（假阳性）的概率 | 0.05 |
| 统计功效 | 1-β | 正确拒绝原假设的概率（β为第二类错误） | 0.80 或 0.90 |
| 最小可检测效应 | MDE | 能检测到的最小效果量（绝对或相对变化） | 相对变化 20% ~ 50% |
| 基线转化率 | p₀ | 对照组的欺诈率或拦截率 | 0.001 ~ 0.05 |
样本量计算公式（两组比例检验）：
n = ( (Z_α/2 + Z_β)² × (p₀(1-p₀) + p₁(1-p₁)) ) / (p₁ - p₀)²
其中：
Z_α/2 = 对应显著性水平α的双侧Z值（α=0.05时，Z=1.96）
Z_β = 对应功效1-β的单侧Z值（β=0.20时，Z=0.84）
p₀ = 对照组基线率
p₁ = 实验组预期率（p₁ = p₀ × (1 + 相对MDE)）
n = 每组所需样本量
💡 反欺诈样本量陷阱： 如果基线欺诈率p₀=0.001（0.1%），想检测30%的相对下降（MDE=30%，即p₁=0.0007），在α=0.05、功效=0.80下，每组需要约 73,000 个样本。如果实验只跑一周，日均流量不足10万，则实验周期可能长达数周。务必在实验前用样本量计算器验证可行性。
3.3 最小可检测效应（MDE）：设定合理的实验目标
MDE是实验设计中最容易被忽视的参数。它决定了实验的“灵敏度”。在反欺诈中，MDE通常以相对变化表示：
- MDE过小（如5%）： 需要海量样本，实验周期过长，期间欺诈策略可能已变化。
- MDE过大（如50%）： 实验容易出结果，但可能错过中等效果的策略，导致“真有效”的策略被误判为无效。
MDE与样本量的关系（固定α=0.05，功效=0.80）：
| 基线欺诈率 p₀ | 相对 MDE | 绝对变化 | 每组所需样本量 |
|---|---|---|---|
| 0.001 | 20% | 0.0002 | ~164,000 |
| 0.001 | 30% | 0.0003 | ~73,000 |
| 0.001 | 50% | 0.0005 | ~26,000 |
| 0.01 | 20% | 0.002 | ~15,700 |
| 0.01 | 30% | 0.003 | ~7,000 |
📌 选择MDE的建议： 对于反欺诈策略，建议将MDE设定在 20% ~ 40% 的相对变化区间。如果业务上要求检测到10%的微小提升，则必须接受更长的实验周期或更大的流量分配。
3.4 显著性水平与统计功效：平衡两类错误
在反欺诈A/B测试中，两类错误的代价截然不同：
- 第一类错误（α，假阳性）： 策略实际上无效，但实验结论说有效。后果：上线无效策略，浪费工程资源，甚至误伤正常用户。
- 第二类错误（β，假阴性）： 策略实际上有效，但实验结论说无效。后果：错过有效策略，欺诈损失持续发生。
α与β的权衡：
| 场景 | 推荐 α | 推荐 功效 (1-β) | 理由 |
|---|---|---|---|
| 高风险策略（如直接拦截交易） | 0.01 | 0.90 | 严格控制误伤，同时确保有效策略不被漏过 |
| 中等风险策略（如增加验证环节） | 0.05 | 0.80 | 标准设置，平衡资源与可信度 |
| 探索性策略（如调整模型阈值） | 0.10 | 0.70 | 允许一定假阳性，快速筛选候选策略 |
3.5 四个原则的联动关系
随机化、样本量、MDE、显著性水平与功效并非独立参数，它们构成一个闭环约束：
- 确定业务目标： 定义可接受的MDE（如相对变化30%）。
- 设定统计风险： 选择α（如0.05）和功效（如0.80）。
- 计算所需样本量： 基于基线欺诈率和MDE，使用公式或工具计算n。
- 评估可行性： 如果所需样本量超过实验周期内可获取的流量，则需调整MDE（放大）或风险参数（降低功效或提高α）。
- 执行随机化： 在满足样本量的前提下，进行分层随机化分配。
⚠️ 常见误区： 很多团队在实验结束后才计算“观察到的功效”，这是错误的。功效必须在实验设计阶段设定，并用于计算样本量。事后功效计算没有实际意义，因为结果已经固定。
设计阶段检查清单：
- ☐ 是否已进行分层随机化，确保组间风险分布一致？
- ☐ 是否基于基线率和MDE计算了所需样本量？
- ☐ 当前流量是否能在合理周期内满足样本量要求？
- ☐ 是否根据策略风险等级选择了合适的α和功效？
- ☐ 是否记录了所有设计参数，以便实验结束后复现？