📚 课程目录第3章 A/B测试基础概念

3. A/B测试基础概念

A/B测试（又称拆分测试或桶测试）是金融风控领域评估策略变更效果的黄金标准。在可疑交易监测场景中，我们通过对比新监测规则/模型与现行规则/模型在同一时间窗口内的表现，来量化策略提升的统计显著性。本章将系统讲解A/B测试的四个核心支柱：定义、分组设计、随机化原则与假设检验思想。

A/B测试是一种受控实验方法：将实验对象（交易、账户或客户）随机分为两组，分别施加不同的处理条件，然后比较两组在关键指标上的差异，从而推断处理效果的因果性。

  可疑交易监测中的A/B测试定义： 在真实交易流中，随机选取一部分交易/账户应用新监测策略（实验组），其余部分保持现行监测策略（对照组），在预设评估周期内比较两组的可疑交易识别率、误报率、平均处理时长等核心指标，以判断新策略是否显著优于现行策略。

两组设计是A/B测试的骨架。下表清晰展示了在可疑交易监测场景下，对照组与实验组的核心差异：

设计要点： 在金融风控场景中，建议为实验组设置“安全垫”——例如，当实验组的可疑交易识别率低于对照组超过10%时，自动切换回对照组策略，避免因策略失效造成监管风险。

随机化是A/B测试的基石，其核心目的是消除选择偏差和混杂变量的影响。在可疑交易监测中，交易金额、交易时间、交易对手类型、客户风险等级等变量都可能影响监测结果。只有通过随机分配，才能确保两组在这些变量上的分布是统计等价的。

随机化在可疑交易监测中的实施步骤：

确定随机化单元： 通常以交易ID或账户ID为最小随机化单元。若以账户为单元，需确保同一账户的所有交易进入同一组，避免策略交叉污染。
生成随机数： 使用加密级伪随机数生成器（如Python的secrets模块或numpy.random），为每个单元分配一个[0,1)之间的随机数。
分组映射： 随机数 < 0.5 归入对照组，≥ 0.5 归入实验组（50/50分桶）。也可根据业务需要调整为40/60或30/70。
分层随机化（可选）： 当存在强影响变量（如客户风险等级）时，可先按风险等级分层，再在各层内独立随机化，保证两组在关键分层变量上完全均衡。

常见陷阱： 不要使用时间片轮询（如周一三五用新策略，周二四六用旧策略）替代随机化。交易行为存在明显的星期效应和节假日效应，时间片轮询会引入严重的时间混杂偏差，导致A/B测试结果完全不可信。

下面通过一张流程图展示随机化在可疑交易监测A/B测试中的完整数据流：

假设检验是A/B测试的统计推断引擎。其核心逻辑是：先假设新策略没有效果（即两组指标无差异），然后计算在当前数据下观察到“如此大差异”的概率（p值）。如果这个概率足够小（通常小于0.05），我们就拒绝原假设，认为新策略确实产生了显著效果。

在可疑交易监测A/B测试中，假设检验的完整流程如下：

建立假设：
- 原假设 H₀： 新策略与现行策略的可疑交易识别率无差异（μ_实验 = μ_对照）
- 备择假设 H₁： 新策略的可疑交易识别率高于现行策略（μ_实验 > μ_对照，单侧检验）
选择检验统计量： 对于识别率（二分类指标），通常使用Z检验或卡方检验；对于平均处理时长（连续指标），使用t检验。
计算p值： 根据样本数据计算检验统计量的观测值，并查表或通过计算机得到对应的p值。
做出决策：
- 若 p < α（通常α=0.05），拒绝H₀，认为新策略显著优于现行策略。
- 若 p ≥ α，不拒绝H₀，认为当前证据不足以证明新策略有效。

  金融风控场景的α取值建议： 在可疑交易监测中，由于漏报可能导致监管处罚，建议采用更严格的显著性水平（α=0.01），以降低“误认为新策略有效而实际无效”的I类错误风险。同时，应关注统计功效（Power），确保样本量足够大，能够检测出有实际业务意义的差异（如识别率提升2%）。

下面用一张示意图展示假设检验的决策逻辑：

A/B测试为可疑交易监测策略的迭代提供了严谨的因果推断框架。四个核心概念环环相扣：