4. A/B测试基础：定义、核心要素与统计显著性
A/B测试（又称拆分测试或桶测试）是风控策略迭代中最严谨的因果推断工具。它通过将人群随机分为两组，分别施加不同策略，然后对比两组在关键风险指标上的差异，来判断新策略是否显著优于旧策略。本章将系统讲解A/B测试的定义、三大核心要素以及统计显著性的核心概念。
4.1 A/B测试的定义
A/B测试是一种受控实验方法：在保持其他条件不变的前提下，对实验组施加新的风控策略（如调整额度、修改规则阈值），对照组维持现有策略，通过对比两组在逾期率、通过率、坏账率等核心指标上的差异，量化新策略的真实效果。
风控场景中的典型A/B测试问题：
· 新信用评分卡是否比旧评分卡更准确地识别坏客户？
· 将额度提升策略从“固定额度”改为“动态额度”后，逾期率是否显著上升？
· 引入新的反欺诈规则后，误杀率（好客户被拒绝的比例）是否在可接受范围内？
· 新信用评分卡是否比旧评分卡更准确地识别坏客户？
· 将额度提升策略从“固定额度”改为“动态额度”后，逾期率是否显著上升？
· 引入新的反欺诈规则后，误杀率（好客户被拒绝的比例）是否在可接受范围内？
4.2 三大核心要素
一个严谨的风控A/B测试必须包含以下三个核心要素，缺一不可。
| 核心要素 | 定义 | 风控场景中的关键要求 |
|---|---|---|
| 实验组 | 接受新策略（干预）的人群 | 新策略必须明确定义，且与对照组策略仅有一个变量不同 |
| 对照组 | 维持现有策略（无干预）的人群 | 对照组必须代表当前生产环境的真实表现，不能受到任何污染 |
| 随机化 | 将人群随机分配到实验组和对照组 | 随机化必须保证两组在年龄、收入、历史行为等所有特征上无系统性差异 |
随机化的本质： 随机化不是“随便分配”，而是通过严格的随机算法（如哈希取模、UUID随机数）确保每个用户进入实验组或对照组的概率相等，从而消除选择偏差和混杂变量。
4.3 A/B测试的完整流程
下图展示了风控场景中A/B测试的标准执行流程，从人群切片到最终决策。
4.4 统计显著性概念
即使实验组和对照组的指标存在差异，这种差异也可能是由随机波动引起的，而非新策略的真实效果。统计显著性就是用来量化“观察到的差异有多大可能是真实存在的，而非偶然因素导致”的数学工具。
4.4.1 核心统计量
| 统计量 | 符号 | 含义 | 风控中的典型阈值 |
|---|---|---|---|
| p值 | p | 在原假设（两组无差异）为真的前提下，观察到当前结果或更极端结果的概率 | p < 0.05（5%显著性水平） |
| 显著性水平 | α | 我们愿意接受的“假阳性”风险上限（即错误地认为新策略有效） | α = 0.05 或 α = 0.01 |
| 统计功效 | 1-β | 当新策略确实有效时，测试能够正确检测出这种效果的概率 | 通常要求 ≥ 0.80 |
| 置信区间 | CI | 真实效果（如逾期率差异）可能落在的范围，通常取95%置信区间 | 95% CI 不包含0时，差异显著 |
4.4.2 如何判断结果是否显著
- 计算p值： 使用双样本比例检验（如Z检验）或卡方检验，比较两组的关键指标差异。
- 设定显著性水平α： 风控场景中通常取 α = 0.05，即允许5%的概率错误地拒绝原假设。
- 比较p值与α：
- 若 p < α，则结果具有统计显著性，拒绝原假设，认为新策略与旧策略存在真实差异。
- 若 p ≥ α，则结果不具有统计显著性，不能拒绝原假设，差异可能来自随机波动。
- 检查实际显著性： 即使统计显著，也要评估差异是否具有业务意义（如逾期率降低0.01%可能统计显著但业务上无价值）。
风控A/B测试常见陷阱：
· 多重比较问题： 同时观察多个指标（逾期率、通过率、坏账率、复借率）时，至少有一个指标偶然显著的概率会大幅上升。建议使用Bonferroni校正或预先指定主要指标。
· 样本量不足： 低基数人群（如高逾期风险切片）的A/B测试往往统计功效不足，容易得出“无显著差异”的假阴性结论。建议在测试前进行功效分析，确保样本量足够。
· 过早停止测试： 在观察到初步显著结果后立即停止测试，会引入“提前停止偏差”。应预先设定最小测试周期（如至少覆盖一个完整账单周期）。
· 多重比较问题： 同时观察多个指标（逾期率、通过率、坏账率、复借率）时，至少有一个指标偶然显著的概率会大幅上升。建议使用Bonferroni校正或预先指定主要指标。
· 样本量不足： 低基数人群（如高逾期风险切片）的A/B测试往往统计功效不足，容易得出“无显著差异”的假阴性结论。建议在测试前进行功效分析，确保样本量足够。
· 过早停止测试： 在观察到初步显著结果后立即停止测试，会引入“提前停止偏差”。应预先设定最小测试周期（如至少覆盖一个完整账单周期）。
4.5 风控A/B测试的随机化策略
在风控系统中，随机化通常基于用户ID（如身份证号、手机号、设备指纹）的哈希值进行分桶。以下是两种常见的随机化方案对比：
| 方案 | 实现方式 | 优点 | 缺点 |
|---|---|---|---|
| 哈希取模 | 对用户ID计算哈希值，然后对100取模，0-49为对照组，50-99为实验组 | 确定性分桶，同一用户始终进入同一组；实现简单 | 哈希碰撞可能导致分桶不均匀；调整分桶比例时需要重新哈希 |
| 随机数分配 | 每次请求时生成随机数，根据随机数范围决定分组 | 分桶均匀性好；支持动态调整比例 | 同一用户可能在不同时间进入不同组，导致“污染效应” |
风控推荐方案： 对于长期策略测试（如额度模型、催收策略），建议使用哈希取模，保证用户一致性；对于短期流量测试（如页面文案、弹窗策略），可以使用随机数分配。
4.6 统计显著性检验的数学基础
以最常见的双样本比例检验为例，假设对照组逾期率为 p_c，实验组逾期率为 p_t，样本量分别为 n_c 和 n_t，则检验统计量 Z 的计算公式为：
Z = (p_t - p_c) / sqrt( p_hat * (1 - p_hat) * (1/n_c + 1/n_t) )
其中：
p_hat = (p_c * n_c + p_t * n_t) / (n_c + n_t) # 合并比例
计算出的 Z 值服从标准正态分布。若 |Z| > 1.96（对应 α = 0.05 的双侧检验），则拒绝原假设，认为两组差异具有统计显著性。
实际案例：
某风控团队测试新额度策略，对照组（n=10,000）逾期率为 3.2%，实验组（n=10,000）逾期率为 2.8%。
计算得 Z ≈ 1.67，|Z| < 1.96，p ≈ 0.095 > 0.05。
结论： 虽然实验组逾期率降低了0.4个百分点，但差异未达到统计显著性，不能贸然全量上线新策略。建议扩大样本量或延长测试周期后重新检验。
某风控团队测试新额度策略，对照组（n=10,000）逾期率为 3.2%，实验组（n=10,000）逾期率为 2.8%。
计算得 Z ≈ 1.67，|Z| < 1.96，p ≈ 0.095 > 0.05。
结论： 虽然实验组逾期率降低了0.4个百分点，但差异未达到统计显著性，不能贸然全量上线新策略。建议扩大样本量或延长测试周期后重新检验。