3. A/B测试核心概念：假设检验、对照组与实验组、随机化、统计显著性、置信区间、效应量
在AML监测系统中引入A/B测试，本质上是将科学实验的统计框架应用于风控策略的评估。本章将逐一拆解支撑A/B测试的六大核心统计概念，帮助你在设计实验时做出严谨、可量化的决策。
3.1 假设检验：从“猜测”到“证据”
假设检验是A/B测试的决策引擎。它通过形式化的统计流程，判断实验组与对照组之间的差异是否真实存在，还是仅仅由随机波动引起。
- 原假设（H₀）：默认假设，通常认为“新策略与旧策略效果相同”。例如：新规则集与旧规则集的警报准确率无差异。
- 备择假设（H₁）：你希望证明的结论，即“新策略优于旧策略”。例如：新规则集的警报准确率显著高于旧规则集。
- 检验流程：收集数据 → 计算检验统计量 → 计算p值 → 与显著性水平α比较 → 做出拒绝或保留H₀的决策。
AML场景示例： 假设当前规则集A的警报准确率为12%。你开发了规则集B，期望将准确率提升至15%。H₀：准确率(B) - 准确率(A) ≤ 0；H₁：准确率(B) - 准确率(A) > 0。
3.2 对照组与实验组：因果推断的基石
没有对照组，就无法分离“策略变化”与“外部干扰”的影响。在AML系统中，对照组与实验组的划分必须严格遵循业务逻辑。
| 组别 | 定义 | AML系统示例 | 关键要求 |
|---|---|---|---|
| 对照组 | 保持现有策略不变，作为基准参照 | 继续使用当前规则集A处理交易 | 必须与实验组同期运行，避免时间偏差 |
| 实验组 | 应用待测试的新策略 | 使用新规则集B处理交易 | 除待测策略外，其他条件与对照组完全一致 |
常见陷阱： 不要将“历史同期数据”作为对照组。AML环境中的交易模式、监管要求、客户行为随时间动态变化，历史对照无法控制混杂变量。
3.3 随机化：消除选择偏差的“金标准”
随机化确保每个交易或客户被分配到对照组或实验组的概率相等，从而在两组之间均匀分布已知和未知的混杂因素（如交易金额、客户风险等级、渠道来源）。
- 简单随机化：使用随机数生成器为每个样本分配组别。适用于交易量均匀的场景。
- 分层随机化：先按关键特征（如客户风险等级：高/中/低）分层，再在各层内随机分配。适用于AML系统中风险分布极不均衡的情况。
- 整群随机化：以机构、分行或客户群组为单位进行随机分配。适用于策略变更影响范围较大的场景。
实践建议： 在AML A/B测试中，优先使用分层随机化。例如，将客户按“高风险/中风险/低风险”分层，确保每层内的对照组与实验组样本量比例一致，避免高风险客户集中在一组导致结果偏差。
3.4 统计显著性：差异是否“可信”？
统计显著性回答一个问题：观察到的组间差异，有多大可能是真实存在的，而非随机波动？
- p值：在原假设为真的前提下，观察到当前结果（或更极端结果）的概率。p值越小，拒绝原假设的证据越充分。
- 显著性水平（α）：预先设定的阈值，通常取0.05或0.01。当p值 < α时，认为结果具有统计显著性。
- 第一类错误（假阳性）：原假设为真但被错误拒绝。α就是犯第一类错误的概率。
- 第二类错误（假阴性）：原假设为假但未被拒绝。β表示第二类错误概率，1-β称为统计功效。
| 决策结果 | H₀为真（策略无效） | H₁为真（策略有效） |
|---|---|---|
| 拒绝H₀（认为有效） | 第一类错误（假阳性）概率 = α | 正确决策（真阳性）概率 = 1-β |
| 未拒绝H₀（认为无效） | 正确决策（真阴性）概率 = 1-α | 第二类错误（假阴性）概率 = β |
AML应用要点： 在反洗钱场景中，第一类错误（误报新策略有效）可能导致资源浪费和监管风险；第二类错误（漏报有效策略）则可能错失提升监测效率的机会。建议根据业务容忍度设定α值，高风险场景可收紧至0.01。
3.5 置信区间：效果的“范围”比“点估计”更重要
置信区间给出了效应量的一个可能范围，并附带了该范围包含真实效应量的置信水平（通常为95%）。它比单一的p值提供了更丰富的信息。
- 95%置信区间：如果重复实验100次，其中95次计算出的置信区间会包含真实的效应量。
- 区间宽度：宽度越窄，估计越精确；宽度越宽，不确定性越大。样本量越大，区间通常越窄。
- 与零的关系：如果95%置信区间不包含0（或效应量的零值），则结果在α=0.05水平上具有统计显著性。
解读示例： 假设实验组警报准确率比对照组高3.2%，95%置信区间为[1.5%, 4.9%]。这意味着：我们有95%的信心认为真实提升幅度在1.5%到4.9%之间。区间下限1.5% > 0，说明效果具有统计显著性；同时区间上限4.9%提示了可能的最大收益。
3.6 效应量：效果“有多大”比“有没有”更关键
统计显著性告诉你“差异是否真实”，效应量告诉你“差异有多大”。在AML系统中，一个统计显著但效应量极小的改进可能不值得投入生产资源。
- 绝对效应量：实验组指标值 - 对照组指标值。例如：准确率提升2.3个百分点。
- 相对效应量：(实验组值 - 对照组值) / 对照组值 × 100%。例如：准确率相对提升15%。
- Cohen's d：标准化效应量，适用于不同量纲的比较。d = (均值差) / 合并标准差。
- 实际显著性：效应量是否达到业务可接受的最小阈值（Minimum Detectable Effect, MDE）。
3.7 核心概念在AML A/B测试中的综合应用
以下表格总结了六大概念在AML监测系统A/B测试中的具体角色和注意事项：
| 概念 | 在AML A/B测试中的角色 | 常见错误 | 最佳实践 |
|---|---|---|---|
| 假设检验 | 判断新规则集是否显著优于旧规则集 | 未明确H₀和H₁，直接比较均值 | 预先定义好原假设和备择假设 |
| 对照组/实验组 | 隔离策略变更的影响，提供基准 | 使用历史数据作为对照组 | 同期运行，确保两组时间窗口一致 |
| 随机化 | 消除混杂因素，保证组间可比 | 按客户ID奇偶分配（易被预测） | 使用加密随机数或分层随机化 |
| 统计显著性 | 量化结果的可信度，控制假阳性 | 仅看p值，忽略效应量 | 结合p值和置信区间一起解读 |
| 置信区间 | 提供效果的范围估计，辅助决策 | 只报告点估计，不报告区间 | 报告95%置信区间，并解释业务含义 |
| 效应量 | 评估策略的实际业务价值 | 追求统计显著而忽略效果大小 | 设定MDE，只有效应量超过阈值才上线 |
关键提醒： 在AML系统中，统计显著性 ≠ 业务重要性。一个p值小于0.001但效应量仅为0.1%的改进，可能不值得投入工程资源。始终将效应量与业务KPI（如减少误报率、提升可疑交易报告质量）挂钩，做出最终决策。