4. 实验设计原则：随机化、对照原则、重复原则、区组设计、因子设计

在风控网关的 A/B 测试中，实验设计的质量直接决定了评估结论的可靠性与可复现性。一个设计不当的实验可能产生误导性的统计结论，导致错误的业务决策。本节将系统阐述五项核心实验设计原则，并结合风控网关的典型场景进行实战解析。

4.1 随机化原则

随机化是指将实验单元（用户、请求、设备等）以随机方式分配到实验组与对照组，从而消除已知与未知的混杂偏倚。在风控网关中，随机化是保证两组在实验开始前“可比”的基础。

4.1.1 随机化在风控网关中的实现方式

4.2 对照原则

对照原则要求实验必须设置一个可比较的基准组，用于衡量处理效应。没有对照，就无法区分效果是由实验变量引起还是由外部因素（时间趋势、季节效应、系统波动）导致。

4.2.1 风控网关中的对照类型

• 空白对照：对照组不施加任何处理，保持现有策略不变。适用于评估新策略的绝对效果。
• 平行对照：实验组与对照组同时运行，消除时间混杂。这是 A/B 测试的标准形式。
• 历史对照：使用历史数据作为基准。风险较高，易受时间效应影响，仅在无法设置平行对照时谨慎使用。

4.3 重复原则

重复原则是指每个实验条件应有足够多的独立实验单元，以降低随机误差的影响，提高统计检验的灵敏度。在风控网关中，重复不是指对同一用户反复测试，而是指样本量足够大。

4.3.1 样本量估算公式

对于风控网关常见的二分类指标（如通过率、欺诈率），最小样本量可通过以下公式估算：

n = (Z_α/2 + Z_β)² × [p₁(1-p₁) + p₂(1-p₂)] / (p₁ - p₂)²

其中：
  Z_α/2 = 显著性水平对应的 Z 值（α=0.05 时取 1.96）
  Z_β   = 统计功效对应的 Z 值（β=0.20 时取 0.84）
  p₁    = 对照组预期转化率
  p₂    = 实验组预期转化率

4.4 区组设计

区组设计是将实验单元按某些重要特征（如渠道、设备类型、用户风险等级）划分为同质子集（区组），然后在每个区组内独立进行随机分配。其核心目的是控制已知的变异来源，减少误差方差。

4.4.1 风控网关中的区组变量选择

4.5 因子设计

因子设计允许同时研究多个因素（因子）对实验结果的影响，以及因子之间的交互效应。在风控网关中，因子设计常用于同时测试多个策略参数的组合，比单因子实验更高效。

4.5.1 2² 因子设计示例

假设我们要同时测试两个因子：风控模型版本（A）和阈值设定（B），每个因子有两个水平：

4.5.2 风控网关中的常见因子设计场景

• 模型版本 × 特征组合：测试新模型在不同特征集下的表现差异。
• 规则阈值 × 决策策略：同时调整拒绝阈值和人工审核策略。
• 渠道 × 模型版本：评估新模型在不同渠道上的泛化能力。

4.6 五项原则的协同应用

在实际的风控网关 A/B 测试中，五项原则并非孤立使用，而是相互配合形成完整的实验框架：

1. 随机化保证组间可比性，是实验的基石。
2. 对照提供效果评估的基准，是因果推断的前提。
3. 重复确保统计检验的可靠性，是结论稳健的保障。
4. 区组设计控制已知变异，提升实验灵敏度。
5. 因子设计探索多因素交互，提高实验效率。