2. A/B测试基础概念：假设检验、对照组与实验组、随机化原则
在支付风控场景中，A/B测试不是简单的“上线看看效果”，而是一套严谨的统计决策框架。理解假设检验、对照组与实验组、随机化原则这三大基石，是设计可信实验的前提。
2.1 假设检验：用数据做决策的统计框架
假设检验是A/B测试的统计内核。它帮助我们判断：实验组与对照组之间的指标差异，是真实存在的效果，还是随机波动导致的“假阳性”。
核心逻辑：先假设“没有效果”（零假设），再通过实验数据检验这个假设是否成立。如果观察到极端结果的概率极低（低于显著性水平α），则拒绝零假设，认为效果真实存在。
2.1.1 零假设与备择假设
| 术语 | 符号 | 含义 | 支付风控示例 |
|---|---|---|---|
| 零假设 | H₀ | 实验组与对照组无差异 | 新模型与旧模型的拦截率相同 |
| 备择假设 | H₁ | 实验组与对照组存在显著差异 | 新模型的拦截率高于旧模型 |
2.1.2 两类错误与显著性水平
- 第一类错误（α，假阳性）：实际无效果，却误判为有效果。在风控中，这意味着上线了一个无效甚至有害的策略，造成误杀或漏过。
- 第二类错误（β，假阴性）：实际有效果，却误判为无效果。这意味着错过了一个能提升风控效果的好策略。
- 统计功效（1-β）：当效果真实存在时，实验能正确检测出该效果的概率。通常要求 ≥ 80%。
风控实践建议：支付场景中，第一类错误（假阳性）的代价往往更高——错误上线一个坏模型可能导致直接资金损失。建议将显著性水平 α 设为 0.01（更严格），而非常规的 0.05。
2.2 对照组与实验组：因果推断的“双胞胎”
A/B测试的核心是“对比”。没有对照组，任何指标变化都无法归因于策略本身。
2.2.1 两组定义
- 对照组（Control Group）：维持现有风控策略不变，作为基准线。在支付场景中，对照组使用当前线上运行的模型或规则。
- 实验组（Treatment Group）：应用待测试的新策略（新模型、新规则、新阈值）。
2.2.2 为什么不能只用“实验前 vs 实验后”对比？
常见误区：很多团队用“上线前一周 vs 上线后一周”做对比。这种“前后对比”无法排除时间效应——比如节假日、大促活动、黑产攻击周期等外部因素。只有同时运行的对照组，才能隔离出策略的真实因果效应。
2.2.3 支付风控中的典型分组设计
| 场景 | 对照组 | 实验组 | 核心指标 |
|---|---|---|---|
| 风控模型升级 | 旧模型（规则集A） | 新模型（规则集B） | 拦截率、误杀率、通过率 |
| 阈值调整 | 当前阈值（如 0.7） | 新阈值（如 0.65） | 召回率、精确率、交易损失 |
| 新数据源接入 | 不使用新数据源 | 接入设备指纹/生物探针 | 欺诈识别率、用户打扰率 |
| 策略流程变更 | 顺序执行规则 | 并行执行规则 | 决策耗时、覆盖率 |
2.3 随机化原则：实验可信的基石
随机化是A/B测试的“灵魂”。没有随机化，实验组和对照组在实验开始前就可能存在系统性差异，导致结果不可信。
2.3.1 随机化的目的
- 消除选择偏差：确保两组用户在风险特征、交易行为、设备环境等方面分布一致。
- 保证统计推断有效：只有随机分配，才能用概率论计算p值和置信区间。
- 控制已知和未知混杂因素：即使我们不知道某些因素会影响结果，随机化也能平均分配到两组。
2.3.2 支付风控中的随机化单元
| 随机化单元 | 适用场景 | 优点 | 风险点 |
|---|---|---|---|
| 用户级 | 模型升级、策略调整 | 用户行为完整，易于追踪 | 同一用户多次交易可能产生相关性 |
| 交易级 | 实时决策、阈值测试 | 样本量大，实验周期短 | 同一用户可能同时进入两组，造成污染 |
| 商户级 | 商户风控策略 | 业务逻辑清晰 | 商户数量少，统计功效不足 |
| 设备级 | 设备指纹、生物探针 | 与风控特征对齐 | 设备与用户多对一关系复杂 |
风控实验黄金法则：随机化单元必须与策略作用单元一致。如果策略作用于“用户”，就不能按“交易”随机化，否则同一用户的不同交易会进入不同组，造成“组间污染”。
2.4 三者的关系：实验设计的完整链路
假设检验、对照组与实验组、随机化原则三者构成A/B测试的完整逻辑闭环：
- 随机化保证两组在实验开始前“可比”；
- 对照组与实验组提供“对比”的基准；
- 假设检验提供“判断”差异是否显著的统计工具。
一句话总结：没有随机化，对比不可信；没有对照组，因果不可归；没有假设检验，结论不可靠。三者缺一不可，共同构成支付风控A/B测试的统计基础。