3、A/B测试核心概念：假设检验、对照组与实验组、随机化分配、统计显著性（p值/置信区间）

在构建可疑交易监测策略时，A/B测试是验证新策略是否优于现有策略的黄金标准。本章将拆解A/B测试的五个核心概念，帮助你在金融风控场景中正确设计实验、解读结果，避免因统计误用导致策略误判。

3.1 假设检验：从业务问题到统计决策

假设检验是A/B测试的推理框架。在可疑交易监测中，我们通常设定两个对立的假设：

• 零假设（H₀）：新策略与现行策略在监测效果上无差异（如：准确率相同、误报率相同）。
• 备择假设（H₁）：新策略优于现行策略（如：召回率提升5%以上，或误报率降低10%以上）。

测试的目标是通过样本数据判断是否有足够证据拒绝H₀，从而采纳新策略。拒绝H₀意味着观察到的差异在统计上显著，而非随机波动。

3.2 对照组与实验组：策略对比的基石

一个标准的A/B测试将流量或交易样本划分为两个互斥的组：

两组必须同时运行、互不干扰，且除策略本身外，其他条件（如数据源、时间窗口、评估指标）保持一致。只有这样才能将结果差异归因于策略变化。

3.3 随机化分配：消除选择偏差

随机化是A/B测试的核心机制，确保每个交易样本被分配到对照组或实验组的概率相等，且分配过程独立于任何已知或未知的混淆变量。

在可疑交易监测中，随机化分配通常基于交易ID的哈希值或伪随机数生成器：

import hashlib

def assign_group(transaction_id: str, split_ratio: float = 0.5) -> str:
    """基于交易ID的哈希值进行随机分组"""
    hash_val = int(hashlib.md5(transaction_id.encode()).hexdigest(), 16)
    return "control" if hash_val % 100 < split_ratio * 100 else "treatment"

随机化分配保证了：

• 组间可比性：两组在交易金额、渠道、客户类型等特征上的分布近似相同。
• 无偏估计：策略效果的估计值不会因样本选择而产生系统性偏差。
• 统计推断有效：后续的假设检验和置信区间计算建立在随机化基础上。

3.4 统计显著性：p值与置信区间

统计显著性帮助我们判断观察到的组间差异是否真实存在，还是由随机波动引起。两个最常用的工具是p值和置信区间。

3.4.1 p值：证据的强度

p值表示在零假设为真的前提下，观察到当前结果（或更极端结果）的概率。在可疑交易监测中：

• p值 ≤ 0.05：有足够证据拒绝H₀，认为新策略效果显著（统计学上显著）。
• p值 > 0.05：没有足够证据拒绝H₀，差异可能由随机波动引起。

3.4.2 置信区间：效果大小的范围

置信区间给出了策略效果（如：召回率提升、误报率降低）的可能范围。95%置信区间的含义是：如果重复实验100次，大约有95次计算出的区间会包含真实的策略效果。

在风控A/B测试中，置信区间比p值提供更多信息：

3.5 核心概念总结与对比