2. 风控A/B测试基础

2.1 A/B测试在风控领域的应用场景

在实时风控体系中，A/B测试并非简单的“改版对比”，而是用于验证策略决策有效性与模型迭代效果的核心工具。其典型应用场景包括：

• 规则阈值调优：例如将单设备关联账户数上限从3个调整为5个，验证对误杀率与召回率的影响。
• 模型版本替换：新训练的XGBoost模型替换当前逻辑回归模型，在真实流量中对比AUC与坏账率。
• 策略流程变更：调整决策流中的规则执行顺序，或新增中间层校验节点。
• 外部数据源接入：测试新引入的第三方黑名单或多头借贷数据对通过率与逾期率的边际提升。
• 用户分层策略：对高、中、低风险客群分别应用不同的决策阈值，验证分层效果。

2.2 与传统A/B测试的区别

传统互联网A/B测试（如UI改版、推荐算法）与风控A/B测试在目标、指标、风险容忍度上存在本质差异。下表梳理了核心区别：

2.3 关键术语：实验组、对照组、流量分割

理解这三个基础术语是搭建风控A/B测试的起点：

• 对照组（Control Group）：沿用现有线上策略的流量分组，作为衡量效果的基准线。对照组必须保持稳定，不受实验策略干扰。
• 实验组（Treatment Group）：应用新策略或新模型的流量分组。一个实验可以包含多个实验组（如A/B/C/D测试），但每组需独立分割流量。
• 流量分割（Traffic Split）：将实时流入的请求按既定比例（如50%:50%或70%:30%）分配到不同组别的机制。分割必须保证一致性（同一用户始终进入同一组）和随机性（避免选择偏差）。

下图展示了实时风控A/B测试的流量分割与决策流程：

2.4 流量分割的工程实现要点

在实时风控系统中，流量分割通常通过一致性哈希或用户ID取模实现。以下是一个基于用户ID取模的伪代码示例：

# 流量分割伪代码（Python风格）
def assign_experiment_group(user_id, experiment_config):
    """
    :param user_id: 用户唯一标识（如手机号哈希值）
    :param experiment_config: 实验配置，包含组别与比例
    :return: 分组名称
    """
    # 使用hash保证同一用户始终进入同一组
    hash_value = hash(user_id) % 100

    # 对照组：0-49（50%）
    if hash_value < 50:
        return "control"
    # 实验组A：50-79（30%）
    elif hash_value < 80:
        return "treatment_A"
    # 实验组B：80-99（20%）
    else:
        return "treatment_B"

2.5 实验组与对照组的隔离原则

为确保实验结论的可靠性，必须遵守以下隔离原则：

• 数据隔离：实验组与对照组的决策结果、特征数据应分别存储，避免相互污染。
• 策略隔离：实验组使用的规则、模型、阈值不得影响对照组的决策链路。
• 监控隔离：两组的关键指标（通过率、拒绝率、超时率）需独立监控，一旦实验组出现异常（如通过率骤降），应立即触发熔断。
• 回溯隔离：实验结束后，两组的历史数据应能独立回溯，支持后续的切片复盘分析。

下图展示了实验组与对照组在实时风控系统中的隔离架构：

2.6 常见误区与避坑指南