3. A/B测试核心概念：假设检验、控制组与实验组、统计显著性与功效分析

在反洗钱（AML）监测系统中引入A/B测试，本质上是将科学实验方法嵌入到模型迭代与规则调优的决策流程中。本章聚焦于支撑A/B测试的三大统计基石：假设检验、控制组与实验组的划分逻辑，以及统计显著性与功效分析。理解这些概念，是确保AML系统变更“有效且可靠”的前提。

3.1 假设检验：从业务问题到统计决策

假设检验是A/B测试的推理框架。在AML场景中，我们通常关心“新模型是否比旧模型更有效地识别可疑交易”或“新规则是否在不增加误报率的前提下提升了捕获率”。

一个完整的假设检验包含以下步骤：

1. 提出原假设（H₀）与备择假设（H₁）：H₀通常代表“无差异”或“无效果”，H₁代表“存在差异”或“有效果”。
2. 选择检验统计量：根据数据类型（如交易金额、预警数量）选择t检验、卡方检验或Z检验。
3. 设定显著性水平（α）：通常取0.05，表示愿意承担5%的“假阳性”风险（即原假设为真时错误拒绝它）。
4. 计算p值并做出决策：若p值 < α，则拒绝H₀，认为差异在统计上显著。

3.2 控制组与实验组：隔离变化的艺术

在AML监测系统的A/B测试中，控制组（对照组）代表当前生产环境中的模型或规则，实验组（处理组）则应用了待验证的变更。两组必须在同一时间窗口内并行运行，且流量分配必须随机且独立。

3.3 统计显著性：p值与置信区间

统计显著性回答了一个核心问题：“观察到的差异是真实存在的，还是由随机波动造成的？” 在AML测试中，我们通过p值和置信区间来量化这种不确定性。

• p值：在原假设为真的前提下，观察到当前结果（或更极端结果）的概率。p值越小，反对H₀的证据越强。
• 置信区间（CI）：给出一个范围，该范围以一定置信水平（如95%）包含真实的效应量。例如，新模型使捕获率提升[5%, 15%]，意味着我们有95%的信心认为真实提升落在这个区间内。

3.4 功效分析：避免“假阴性”陷阱

统计功效（Statistical Power）是指在备择假设为真时，正确拒绝原假设的概率，即 1 - β（β为第二类错误率，即假阴性）。在AML场景中，功效不足意味着：新模型明明有效，但测试却未能检测出来，导致错失优化机会。

功效分析需要四个参数：

1. 效应量（Effect Size）：你期望检测到的最小有意义差异（如捕获率提升10%）。
2. 显著性水平（α）：通常固定为0.05。
3. 样本量（n）：每组需要多少交易或预警样本。
4. 功效（1-β）：通常要求达到0.80或0.90。

给定任意三个参数，可以计算出第四个。在AML测试设计阶段，我们通常先设定效应量和期望功效，然后反推所需样本量。

3.5 核心概念对比总结

3.6 在AML测试中应用这些概念

设计一个AML监测系统的A/B测试时，建议按以下流程操作：

1. 明确业务目标：定义关键指标（如可疑交易捕获率、误报率、平均调查时长）。
2. 设定效应量：与合规团队协商“最小值得部署的改进幅度”（如捕获率提升5%）。
3. 进行功效分析：计算所需样本量。若样本不足，考虑延长测试周期或放宽效应量要求。
4. 随机分流：确保控制组与实验组在交易量、客户类型、地域分布上无显著差异。
5. 运行测试并监控：实时跟踪两组指标，但不要在达到显著性后立即停止（避免“偷看”偏差）。
6. 解读结果：同时报告p值和置信区间，并评估业务显著性。

# 假设：期望检测到捕获率从10%提升到12%（效应量2个百分点）
# α = 0.05, 功效 = 0.80
from statsmodels.stats.power import TTestIndPower

power_analysis = TTestIndPower()
sample_size = power_analysis.solve_power(
    effect_size=0.2,   # 标准化效应量（Cohen's d）
    alpha=0.05,
    power=0.80,
    alternative='larger'
)
print(f"每组所需样本量: {sample_size:.0f}")