4、对照实验核心概念：A/B测试、对照组与实验组、随机化原则、统计显著性（p值、置信区间）
在AML监测模型迭代中，对照实验是验证新模型是否真正优于旧模型的黄金标准。没有对照实验，任何模型性能的提升都可能是数据漂移、样本偏差或偶然因素造成的假象。本节将系统讲解对照实验的四大核心概念，帮助你在AML场景中设计出可信的模型验证方案。
4.1 A/B测试：模型迭代的决策引擎
A/B测试（又称分桶测试）是将流量或样本随机分为两组，分别应用旧模型（A组）和新模型（B组），通过对比两组在关键指标上的差异来决定是否上线新模型。在AML领域，A/B测试的核心挑战在于：既要评估模型对真实洗钱行为的识别能力，又要控制误报率对业务运营的影响。
- 检出率（Recall）：新模型能否发现更多真实可疑交易？
- 精确率（Precision）：新模型是否增加了不必要的警报？
- 误报率（FPR）：新模型是否导致调查团队工作量激增？
- 平均调查时长：新模型生成的警报是否更易于分析师研判？
4.2 对照组与实验组：因果推断的基石
对照组（Control Group）和实验组（Treatment Group）是对照实验的两个基本单元。对照组接受旧模型处理（或空白处理），实验组接受新模型处理。两组在实验开始前应尽可能相似，唯一的区别是模型版本。
| 维度 | 对照组（A组） | 实验组（B组） |
|---|---|---|
| 模型版本 | 当前生产模型 v1.0 | 候选迭代模型 v2.0 |
| 样本分配 | 随机分配 50% 流量 | 随机分配 50% 流量 |
| 评估指标 | 基线检出率、误报率 | 新模型检出率、误报率 |
| 决策依据 | 当前性能基准 | 与对照组对比的增量提升 |
4.3 随机化原则：消除选择偏差的武器
随机化（Randomization）是确保对照组和实验组在除模型版本外其他所有特征上具有可比性的核心手段。没有随机化，两组之间的差异可能来自样本本身的系统性偏差，而非模型效果的真实差异。
在AML模型迭代中，常见的随机化方法包括：
- 简单随机化：每个样本独立地以50%概率分配到对照组或实验组。适用于样本量大、特征分布均匀的场景。
- 分层随机化：先按关键特征（如交易金额区间、客户风险等级、渠道类型）分层，再在每层内随机分配。适用于样本量有限但需要保证各层均衡的场景。
- 时间块随机化：按时间周期（如每天、每周）交替分配。适用于无法实时随机分配的生产环境。
4.4 统计显著性：p值与置信区间
即使实验组指标优于对照组，这种差异也可能是随机波动造成的。统计显著性检验帮助我们量化这种"差异由随机因素导致"的概率，从而做出更可靠的决策。
4.4.1 p值：差异是否可信？
p值（p-value）是在原假设（H₀：新旧模型效果无差异）为真的前提下，观察到当前结果或更极端结果的概率。在AML模型迭代中，通常设定显著性水平α=0.05：
- p ≤ 0.05：差异具有统计显著性，拒绝原假设，认为新模型确实优于旧模型。
- p > 0.05：差异不具有统计显著性，不能拒绝原假设，观察到的差异可能来自随机波动。
4.4.2 置信区间：效果有多大？
置信区间（Confidence Interval, CI）给出了模型效果提升的合理范围。95%置信区间意味着：如果我们重复实验100次，有95次计算出的区间会包含真实的提升值。
| 统计量 | 定义 | AML应用示例 |
|---|---|---|
| p值 | 差异由随机因素导致的概率 | p=0.003 → 差异极不可能由随机导致 |
| 95%置信区间 | 真实效果有95%概率落在此区间内 | 检出率提升 [4.2%, 7.8%] → 至少提升4.2% |
| 效应量 | 差异的实际大小（非统计意义） | 检出率绝对提升6个百分点 |
4.5 AML对照实验的常见陷阱与避坑指南
| 陷阱 | 表现 | 解决方案 |
|---|---|---|
| 样本量不足 | p值很大，但实际效果明显 | 进行功效分析（Power Analysis），确保样本量足够检测到预期效果 |
| 多重比较 | 同时比较多个指标，偶然发现显著结果 | 使用Bonferroni校正或FDR控制 |
| 数据泄露 | 训练数据包含实验期间样本 | 严格按时间划分训练集和实验集 |
| 新奇效应 | 新模型初期表现异常好或异常差 | 延长实验周期，观察效果是否稳定 |
| 业务干扰 | 调查团队知道样本分组，行为改变 | 实施双盲实验，分析师不知晓分组信息 |
4.6 小结：对照实验在AML模型迭代中的核心价值
对照实验不是可选项，而是AML模型迭代的安全护栏。通过A/B测试、随机化分组和统计显著性检验，我们能够：
- 隔离模型效果：排除数据漂移、业务周期等混淆因素，确认性能提升来自模型本身。
- 量化不确定性：用p值和置信区间表达对结果的信心程度，避免过度自信。
- 降低上线风险：在全面部署前发现潜在问题，避免因模型退化导致监管风险或运营成本激增。