3. A/B测试基础：定义、核心要素
A/B测试是风控策略迭代中最严谨的因果推断工具。在风控网关拦截场景中，它通过将实时流量随机分为两组，分别应用当前线上策略（对照组）和待上线策略（实验组），在同等外部条件下比较两组的关键指标差异，从而判断新策略是否显著优于旧策略。
核心原则：除策略版本外，两组流量在时间窗口、用户来源、渠道分布、系统环境等维度必须保持完全一致。任何非策略因素的差异都会污染实验结果。
3.1 A/B测试的定义与本质
A/B测试本质上是一种随机对照实验。在风控领域，它帮助回答一个关键问题：“如果我把拦截规则从X改为Y，对通过率、坏账率、用户申诉率会产生怎样的影响？”
| 维度 | 说明 |
|---|---|
| 实验对象 | 进入风控网关的实时交易/请求流量 |
| 干预变量 | 拦截策略版本（规则集、模型阈值、处置动作） |
| 观测目标 | 通过率、误杀率、召回率、响应耗时等业务指标 |
| 统计推断 | 通过假设检验判断实验组与对照组的差异是否显著 |
风控场景的特殊性：与互联网产品A/B测试不同，风控策略实验通常需要更长的观察周期（至少7~14天），以覆盖完整的业务周期（工作日/周末、月初/月末、大促活动等），避免时间片偏差。
3.2 核心要素一：实验组与对照组
实验组与对照组是A/B测试的双支柱。两组流量必须同时运行、互不干扰，且样本在实验开始前来自同一分布。
- 对照组（Control Group）：保持当前线上策略不变，作为基准参照。通常分配50%流量，也可根据风险容忍度调整（如40%~60%）。
- 实验组（Treatment Group）：应用待测试的新策略（如调整规则阈值、替换模型、增加拦截动作）。
两组流量通过随机分桶机制划分，常用分桶键包括：
- 用户ID哈希取模：按用户粒度分桶，保证同一用户始终进入同一组，避免用户在不同策略间反复横跳。
- 设备指纹/会话ID：适用于无登录态的匿名流量场景。
- 交易ID哈希：按单笔交易粒度分桶，适合纯交易级策略验证。
常见陷阱：不要使用时间片轮换（如上午对照组、下午实验组）代替真正的随机分桶。时间片轮换无法消除时间效应（如凌晨攻击高峰、午间正常交易高峰），会导致实验结论不可靠。
3.3 核心要素二：指标
指标是衡量策略效果的标尺。风控网关拦截策略的A/B测试通常关注三类指标：
| 指标类别 | 具体指标 | 计算方式 | 业务含义 |
|---|---|---|---|
| 通过率 | 拦截率 / 放行率 | 放行量 ÷ 总请求量 | 策略对正常流量的友好程度 |
| 风险识别 | 召回率、精确率、F1-score | TP ÷ (TP+FN) 等 | 策略识别真实风险的能力 |
| 业务影响 | 坏账率、申诉率、客诉率 | 坏账金额 ÷ 交易金额 | 策略对业务最终结果的影响 |
| 性能 | P99耗时、吞吐量 | 网关处理延迟分布 | 策略对系统性能的消耗 |
指标选择原则：每个A/B测试必须指定一个核心指标（Primary Metric）作为决策依据，同时监控3~5个辅助指标（Secondary Metrics）防止策略顾此失彼。例如，降低拦截率的同时不能显著增加坏账率。
3.4 核心要素三：样本量
样本量决定了实验的统计功效和可信度。样本量不足会导致：
- 假阴性（Type II Error）：新策略实际有效，但因样本太少无法检测出显著差异。
- 置信区间过宽：指标波动大，无法做出可靠决策。
计算最小样本量需要以下参数：
| 参数 | 符号 | 典型取值 | 说明 |
|---|---|---|---|
| 显著性水平 | α | 0.05 | 犯假阳性错误的概率（5%） |
| 统计功效 | 1-β | 0.80 | 正确检测出真实差异的概率（80%） |
| 最小可检测效应 | δ | 5%~20% | 你认为有业务意义的指标变化幅度 |
| 基线转化率 | p₀ | 当前通过率 | 对照组指标的基准值 |
对于二分类指标（如通过/拦截），最小样本量公式为：
n = (Z_α/2 + Z_β)² × [p₀(1-p₀) + p₁(1-p₁)] / (p₁ - p₀)²
其中：
Z_α/2 = 1.96（对应α=0.05，双尾检验）
Z_β = 0.84（对应功效=0.80）
p₀ = 对照组基准通过率
p₁ = 实验组预期通过率
n = 每组所需最小样本量
风控场景经验值：对于日交易量10万笔的风控网关，若预期拦截率从5%降低到4%（绝对降低1%），每组约需3.5万样本，实验持续1~2天即可。若预期降低0.1%，则每组需要数百万样本，实验需持续1~2周。
3.5 三要素的协同关系
实验组/对照组、指标、样本量三者构成A/B测试的铁三角：
- 实验组/对照组决定了实验的内部效度——能否归因于策略变化。
- 指标决定了实验的测量精度——能否准确量化策略效果。
- 样本量决定了实验的统计可靠性——结论是否经得起推敲。
实战检查清单：在启动风控网关A/B测试前，请确认以下问题：
✅ 两组流量是否真正随机分配？
✅ 核心指标是否与业务目标对齐？
✅ 样本量是否满足最小可检测效应的要求？
✅ 实验时长是否覆盖完整业务周期？
✅ 两组流量是否真正随机分配？
✅ 核心指标是否与业务目标对齐？
✅ 样本量是否满足最小可检测效应的要求？
✅ 实验时长是否覆盖完整业务周期？