实验设计原则：AB实验与准实验、随机化与分流、实验组与对照组设计、最小样本量估算

在支付风控领域，评估一个策略或模型的上线收益，不能仅凭“上线后坏账率下降了”就下结论。我们需要通过严谨的实验设计来隔离外部干扰、量化因果效应。本章将系统讲解实验设计的四大核心原则，帮助你在真实业务场景中构建可信的收益评估框架。

3.1 AB实验与准实验：两种核心范式

根据随机化程度和业务约束，风控实验主要分为AB实验（随机对照实验）和准实验（非随机对照实验）。两者的核心差异在于是否对用户进行随机分流。

3.2 随机化与分流：实验的基石

随机化是AB实验的灵魂。它确保实验组和对照组在实验开始前，除干预因素外，其他特征（如用户历史行为、设备指纹、交易金额分布）在统计上无显著差异。分流则是随机化的具体实现。

3.2.1 随机化分流的核心原则

• 用户级随机：以用户ID为最小单元进行分流，避免同一用户在不同组别中产生交叉污染。
• 稳定分流：用户一旦被分入某组，在整个实验周期内保持不变（除非实验设计允许用户迁移）。
• 流量均匀：实验组和对照组的流量比例应接近预设值（如50%:50%或10%:90%），避免因随机波动导致样本量失衡。
• 分层随机：当用户群体异质性较大时（如高/低风险用户），可先按关键特征分层，再在各层内随机分流，以提升组间均衡性。

3.2.2 常见分流策略对比

3.3 实验组与对照组设计：构建可信的对比基准

实验组（Treatment Group）接受新的风控策略或模型干预，对照组（Control Group）保持原有策略不变。两组之间的指标差异，即为策略的因果效应。

3.3.1 对照组设计原则

• 同期对照：实验组和对照组必须在同一时间段内运行，避免历史对照（如用上个月数据做对比）带来的时间趋势偏差。
• 同质对照：两组用户除干预外，其他特征分布应尽可能一致。可通过随机化或分层随机实现。
• 盲法设计：在可能的情况下，让用户和一线风控人员不知道分组信息，避免行为改变（霍桑效应）。
• 最小干预：对照组应保持完全不变，不要对对照组施加任何额外操作（如“安慰剂”策略）。

3.3.2 实验组设计常见模式

3.4 最小样本量估算：实验需要多少用户？

样本量过小，实验无法检测到真实效果（统计功效不足）；样本量过大，浪费流量且增加业务风险。最小样本量估算是在给定显著性水平、统计功效和最小可检测效应（MDE）的前提下，计算出所需的最小用户数。

3.4.1 核心参数

3.4.2 样本量估算公式（二分类指标，如是否欺诈）

对于二分类指标（如欺诈率、通过率），样本量估算公式为：

n = (Z_α/2 + Z_β)² × [p₀(1-p₀) + p₁(1-p₁)] / (p₁ - p₀)²

其中：
- n = 每组所需样本量
- Z_α/2 = 对应显著性水平α的双侧Z值（α=0.05时，Z=1.96）
- Z_β = 对应功效1-β的单侧Z值（功效=0.80时，Z=0.84）
- p₀ = 对照组基线指标
- p₁ = 实验组预期指标（p₁ = p₀ - MDE）
- (p₁ - p₀) = 最小可检测效应（MDE）

3.4.3 实战示例

假设当前支付坏账率为2%（p₀=0.02），你希望检测新模型能否将坏账率降低到1.5%（MDE=0.5个百分点），显著性水平α=0.05，统计功效=0.80：

Z_α/2 = 1.96
Z_β = 0.84
p₀ = 0.02
p₁ = 0.015
MDE = 0.005

n = (1.96 + 0.84)² × [0.02×0.98 + 0.015×0.985] / (0.005)²
  = (2.80)² × [0.0196 + 0.014775] / 0.000025
  = 7.84 × 0.034375 / 0.000025
  = 0.2695 / 0.000025
  = 10,780

每组需要约10,780个用户，两组共需约21,560个用户。

3.5 实验设计全流程SVG

下图展示了从实验设计到收益评估的完整流程，帮助你建立全局视角：

3.6 实验设计决策树

在实际业务中，如何快速选择实验设计方法？以下决策树可以帮助你做出判断：

3.7 本章小结

实验设计是支付风控收益评估的基石。通过本章的学习，你应该掌握：

• AB实验与准实验的适用场景和核心差异，优先选择AB实验以保证因果推断的可靠性。
• 随机化与分流的四种策略（简单随机、分层随机、哈希分流、桶分流），以及如何避免时间偏差和用户交叉污染。
• 实验组与对照组的设计原则，包括同期对照、同质对照、盲法设计和最小干预。
• 最小样本量估算的公式和实战应用，确保实验有足够的统计功效检测到真实效果。