实验设计原则：随机化、样本量计算、MDE 与显著性水平

在风控 A/B 测试中，实验设计的质量直接决定评估结论的可靠性。本章围绕四个核心原则展开：随机化保证组间可比性，样本量计算确保统计效力，最小可检测效应（MDE）定义业务敏感度，显著性水平与统计功效控制决策风险。以下逐一拆解。

1. 随机化原则

随机化是 A/B 测试的基石。在风控场景中，用户分桶必须独立于其风险特征、历史行为、渠道来源等任何可能影响结果的变量。常见的随机化单元包括：

• 用户级随机化：适用于策略影响用户整体体验的场景（如额度调整、催收策略）。
• 交易级随机化：适用于单笔交易维度的决策（如实时风控拦截、交易限额）。
• 时间片随机化：当用户级分桶不可行时，按时间窗口交替切换策略（需注意时间效应混杂）。

2. 样本量计算（功效分析）

样本量不足会导致实验无法检测出真实存在的策略效果（假阴性），而样本量过大则浪费流量与时间。功效分析基于以下参数计算最小所需样本：

对于二分类指标（如逾期率、通过率），样本量计算公式为：

n = ( (Z_α/2 + Z_β)² × (p₀(1-p₀) + p₁(1-p₁)) ) / (p₁ - p₀)²

其中：
  Z_α/2 = 对应显著性水平 α 的双侧 Z 值（α=0.05 时取 1.96）
  Z_β   = 对应功效 1-β 的单侧 Z 值（功效=0.80 时取 0.84）
  p₀    = 对照组基线率
  p₁    = 实验组预期率（p₁ = p₀ × (1 + MDE)）

3. 最小可检测效应（MDE）

MDE 是实验设计阶段必须明确设定的业务参数。它表示在给定样本量和显著性水平下，实验能够以指定功效检测到的最小真实效应大小。MDE 越小，所需样本量越大。

在风控中，MDE 的设定需平衡业务敏感度与实验成本：

• 高风险策略（如大幅放宽授信额度）：MDE 可设较小（如 3%~5%），因为微小变化可能带来巨大损失。
• 低风险策略（如文案优化、非关键流程调整）：MDE 可设较大（如 10%~20%），以降低样本量需求。
• 监管合规类实验：MDE 通常由法规要求或业务容忍度决定，需提前与合规团队对齐。

4. 显著性水平与统计功效设定

这两个参数共同决定了实验的决策风险框架：

5. 参数联动示例

假设某风控策略希望将逾期率从 5% 降低到 4.5%（相对 MDE = 10%），设定 α=0.05，功效=0.80：

p₀ = 0.05
p₁ = 0.045
MDE = (0.05 - 0.045) / 0.05 = 10%

代入公式：
n = ( (1.96 + 0.84)² × (0.05×0.95 + 0.045×0.955) ) / (0.005)²
  = (7.84 × 0.0905) / 0.000025
  ≈ 28,400 样本/组

总样本 ≈ 56,800（两组）

若将 MDE 缩小到 5%（即逾期率降至 4.75%），所需样本将膨胀约 4 倍，达到每组约 113,600。因此，在风控实验中，MDE 的设定是样本量计算中最敏感的杠杆，必须与业务方充分对齐。