4、对照实验方法论：A/B测试原理、对照实验设计原则、实验组与对照组划分策略
在反洗钱（AML）特征服务上线前，必须通过严格的对照实验验证新特征集是否真正提升了模型性能或降低了误报率。本节系统讲解A/B测试的核心原理、对照实验的设计原则，以及实验组与对照组的划分策略，为后续特征服务的实际评估奠定方法论基础。
4.1 A/B测试原理
A/B测试（又称分桶测试）是一种随机对照实验方法，通过将流量或样本随机分为两组，分别施加不同处理（如旧特征集 vs. 新特征集），然后比较两组在核心指标上的差异，从而推断处理效果的因果性。
核心思想： 在反洗钱场景中，A/B测试不是简单的“上线新特征”，而是通过随机化控制混淆变量，确保观察到的性能提升确实来自新特征，而非时间趋势、数据漂移或样本偏差。
A/B测试在AML特征服务中的关键要素包括：
- 随机化： 将交易或客户随机分配到实验组和对照组，消除选择偏差。
- 对照： 对照组使用当前生产环境的旧特征集（基线），实验组使用新特征集。
- 单一变量： 除特征集外，模型、阈值、规则等保持不变，确保差异仅来自特征。
- 统计显著性： 通过假设检验（如t检验、卡方检验）判断指标差异是否由随机波动引起。
反洗钱场景提示： 由于AML数据高度不平衡（正常交易远多于可疑交易），A/B测试的样本量计算需考虑稀有事件率，通常需要更大的样本量才能检测出召回率的微小提升。
4.2 对照实验设计原则
设计一个有效的AML对照实验，必须遵循以下五项核心原则：
| 原则 | 说明 | AML场景示例 |
|---|---|---|
| 随机分配 | 每个实验单元（交易/客户）被分配到实验组或对照组的概率相等，且独立于其他单元。 | 按客户ID哈希取模，将客户随机分入两组，避免地域、渠道等系统性偏差。 |
| 样本独立性 | 实验组和对照组的样本在统计上相互独立，避免组间污染。 | 同一客户的所有交易必须进入同一组，不能跨组；不同客户之间无干扰。 |
| 充分样本量 | 样本量需满足统计功效要求（通常power ≥ 0.8，α = 0.05），才能检测出有意义的效应量。 | 对于可疑交易占比0.1%的场景，每组至少需要数十万笔交易才能检测出召回率提升5%。 |
| 实验周期完整 | 实验需覆盖完整的业务周期（如一周、一个月），避免时间片段偏差。 | 反洗钱实验至少运行一个完整自然周，包含工作日和周末的交易模式差异。 |
| 指标预先定义 | 在实验开始前明确主要指标和次要指标，避免事后选择偏差。 | 主要指标：可疑交易召回率；次要指标：误报率、处理时间、模型AUC。 |
常见陷阱： 在AML实验中，如果实验组和对照组使用不同的特征服务版本，但共享同一个模型评分缓存，会导致组间污染。必须确保特征计算和模型评分在两组之间完全隔离。
4.3 实验组与对照组划分策略
划分策略决定了实验的随机化质量和可操作性。在反洗钱特征服务场景中，常用的划分策略有以下三种：
4.3.1 基于客户ID的哈希分桶
最常用的策略。将客户ID进行一致性哈希，根据哈希值将客户分配到实验组或对照组。优点是同一客户的所有交易始终进入同一组，保证样本独立性；缺点是客户数量较少时可能导致组间样本量不均衡。
# 基于客户ID的哈希分桶示例（Python伪代码）
import hashlib
def assign_group(customer_id: str, total_buckets: int = 100, experiment_ratio: float = 0.5) -> str:
hash_val = int(hashlib.md5(customer_id.encode()).hexdigest(), 16) % total_buckets
return "experiment" if hash_val < total_buckets * experiment_ratio else "control"
4.3.2 基于交易ID的随机分桶
适用于特征不依赖客户历史行为的场景。每笔交易独立随机分配，优点是样本量大、随机化充分；缺点是同一客户的不同交易可能进入不同组，破坏客户级特征的一致性。
适用场景： 仅使用单笔交易特征（如交易金额、IP地址、设备指纹）的模型，不依赖客户历史画像。此时交易级分桶更灵活，且能更快积累样本量。
4.3.3 分层分桶
在分桶前先按关键分层变量（如交易金额区间、客户风险等级、渠道类型）对样本分层，然后在每层内独立进行随机分配。分层分桶能保证实验组和对照组在各层内的分布一致，减少组间差异。
| 分层变量 | 层内样本占比 | 对照组分配 | 实验组分配 |
|---|---|---|---|
| 高风险客户 | 5% | 2.5% | 2.5% |
| 中风险客户 | 30% | 15% | 15% |
| 低风险客户 | 65% | 32.5% | 32.5% |
三种划分策略的对比总结如下：
| 策略 | 随机化粒度 | 样本独立性 | 适用场景 | 实现复杂度 |
|---|---|---|---|---|
| 客户ID哈希分桶 | 客户级 | 高 | 依赖客户历史特征的模型 | 低 |
| 交易ID随机分桶 | 交易级 | 中 | 仅使用单笔交易特征的模型 | 低 |
| 分层分桶 | 层内客户/交易级 | 高 | 需要保证组间分布一致的场景 | 中 |
4.4 对照实验流程总览
下图展示了反洗钱特征服务对照实验的完整流程，从样本随机分配到最终决策：
4.5 实验评估指标与统计检验
对照实验结束后，需要从以下维度评估新特征集的效果：
- 主要指标： 可疑交易召回率（Recall）、精确率（Precision）、F1分数。
- 次要指标： 误报率（FPR）、平均处理时间、模型AUC、KS统计量。
- 业务指标： 人工审核量变化、可疑交易报告（SAR）提交率。
统计检验方法选择：
| 指标类型 | 推荐检验方法 | 说明 |
|---|---|---|
| 召回率/精确率（比例） | 双比例Z检验 | 比较两组间的比例差异是否显著 |
| AUC（连续值） | DeLong检验 | 专门用于比较两个ROC曲线的AUC差异 |
| 误报率（比例） | 卡方检验或Fisher精确检验 | 适用于稀有事件的小样本场景 |
| 处理时间（连续值） | 独立样本t检验或Mann-Whitney U检验 | 数据正态时用t检验，否则用非参数检验 |
实践建议： 在AML对照实验中，除了报告p值，还应计算效应量（如Cohen's d或风险比）和置信区间。大样本下即使微小的差异也可能显著，效应量能帮助判断差异是否具有业务意义。
4.6 实验决策与后续行动
根据统计检验结果，实验决策分为以下三种情况：
- 显著正向： 新特征集在主要指标上显著优于旧特征集（p < 0.05），且效应量达到业务阈值 → 全量上线新特征集。
- 无显著差异： 两组间差异不显著 → 维持旧特征集，或进一步分析亚组效果。
- 显著负向： 新特征集显著劣于旧特征集 → 回滚至旧特征集，排查特征工程问题。
无论结果如何，实验报告都应包含：实验设计细节、样本量、指标对比表、统计检验结果、效应量、以及业务建议。完整的实验记录是AML合规审计的重要依据。