2. 对照实验方法论：A/B测试在反洗钱模型评估中的应用

在反洗钱（AML）领域，模型上线前的效果评估长期依赖历史回测与规则专家评审。然而，回测存在时间穿越偏差，专家评审则缺乏统计严谨性。A/B测试（对照实验）通过将真实交易流量随机分为实验组与对照组，在同等市场环境下直接对比模型表现，已成为AML模型效果评估的黄金标准。

2.1 A/B测试在反洗钱场景中的适配与挑战

传统互联网A/B测试关注点击率、转化率等正向指标，而AML场景关注可疑交易识别率、误报率、发现时间等负向或稀缺事件指标。这带来了三个关键挑战：

针对上述挑战，AML领域的A/B测试需采用分层分流与交易级随机化相结合的策略，并在统计检验中引入聚类稳健标准误来修正组内相关性。

2.2 实验组与对照组设计原则

设计一个有效的AML对照实验，必须遵循以下五项核心原则。违反任何一项都可能导致结论失效。

1. 随机化原则：交易或客户必须被随机分配到实验组与对照组，确保两组在模型输入特征上无系统性差异。在Spark中通常使用hash(transaction_id) % N或rand()进行分流。
2. 样本独立性原则：同一客户或同一团伙的交易应被分到同一组，避免模型效果在组间“泄漏”。实践中常以客户ID作为分流单元。
3. 充分样本量原则：AML事件稀疏，需通过最小样本量公式预估所需交易量。对于查获率这类比率指标，样本量需满足：

n = (Z_α/2 + Z_β)² × [p₁(1-p₁) + p₂(1-p₂)] / (p₁ - p₂)²

其中：
  Z_α/2 = 1.96（显著性水平 α=0.05，双尾）
  Z_β   = 0.84（检验功效 80%）
  p₁    = 对照组预期查获率
  p₂    = 实验组预期查获率

4. 实验周期完整性原则：必须覆盖完整的洗钱行为生命周期（通常≥30天），避免因调查延迟导致的截断偏差。
5. 最小干预原则：除模型本身外，两组在预警处理流程、调查资源分配、阈值设定等方面必须完全一致。

2.3 统计显著性检验

在收集到实验组与对照组的评估指标后，需要通过统计检验判断差异是否由模型改进引起，而非随机波动。AML场景中最常用的检验方法如下：

检验流程通常包含以下步骤：

1. 提出假设：H₀（零假设）：实验组与对照组查获率无差异；H₁（备择假设）：实验组查获率显著高于对照组。
2. 计算检验统计量：根据指标类型选择对应公式。
3. 确定p值：在零假设成立下，观测到当前结果（或更极端结果）的概率。
4. 做出决策：若p值 < 显著性水平α（通常取0.05），则拒绝H₀，认为模型改进有效。

2.4 对照实验的Spark实现框架

在Spark中实现AML对照实验，通常遵循以下数据管道流程。以下代码片段展示了分流与指标聚合的核心逻辑：

from pyspark.sql import functions as F
from pyspark.sql.types import IntegerType

# 步骤1：基于客户ID进行分流（确保同一客户始终在同一组）
df = df.withColumn("group_id", 
                   F.abs(F.hash("customer_id")) % 2)

# 步骤2：标记实验组与对照组
df = df.withColumn("group", 
                   F.when(F.col("group_id") == 0, "control")
                    .otherwise("treatment"))

# 步骤3：聚合计算各组指标
agg_df = df.groupBy("group").agg(
    F.count("transaction_id").alias("total_txns"),
    F.sum(F.col("is_alert").cast("int")).alias("total_alerts"),
    F.sum(F.col("is_confirmed_sar").cast("int")).alias("total_sars"),
    F.avg("confirmation_days").alias("avg_confirm_days")
)

# 步骤4：计算查获率与误报率
result_df = agg_df.withColumn(
    "hit_rate", F.col("total_sars") / F.col("total_txns")
).withColumn(
    "false_positive_rate", 
    (F.col("total_alerts") - F.col("total_sars")) / F.col("total_txns")
)

result_df.show()

上述代码中，hash(customer_id) % 2保证了同一客户的所有交易被分到同一组，满足样本独立性原则。聚合后的指标可直接导出到Python端的scipy.stats进行统计检验。