2. A/B测试基础：概念、核心要素与适用场景
A/B测试（又称随机对照试验）是模型风险管理中验证策略变更效果最严谨的量化方法。在模型验证与分流场景中，A/B测试通过对比两个版本（基准版本 vs. 实验版本）在真实数据流上的表现差异，为模型迭代、特征工程、阈值调整等决策提供统计依据。
2.1 A/B测试的核心概念
A/B测试本质上是一种受控实验：将实验单元（用户、交易、请求等）随机分为两组，一组暴露于基准版本（A组/对照组），另一组暴露于实验版本（B组/实验组），在相同时间窗口内收集关键指标，通过假设检验判断两组差异是否具有统计显著性。
模型风险语境下的定义： A/B测试是验证模型变更（如算法替换、特征增减、阈值调整）是否带来统计显著且业务可接受的性能提升或风险降低的标准化流程。
2.2 三大核心要素
| 核心要素 | 定义 | 模型风险验证中的关键要求 |
|---|---|---|
| 对照组（A组） | 保持现有模型或策略不变，作为基准参照 | 必须代表当前生产环境的真实表现，不能引入额外偏差 |
| 实验组（B组） | 应用待验证的模型变更，作为实验处理 | 变更内容需明确定义，一次只改变一个变量（单一因子） |
| 随机化 | 将实验单元无偏地分配到两组 | 确保两组在实验开始前在所有可观测与不可观测特征上均衡 |
避坑提示： 对照组不是“无模型”或“空跑”，而是当前线上运行的稳定版本。实验组必须与对照组共享同一数据管道、同一计算环境，否则无法归因差异来源。
2.3 随机化的实现方式
随机化是A/B测试的基石。在模型分流场景中，常见的随机化单元与分配方法如下：
- 用户级随机化： 按用户ID哈希取模，适用于推荐、定价、风控等用户维度的模型验证。
- 请求级随机化： 按每次请求独立随机分配，适用于实时推理、在线预测等高频场景。
- 分层随机化： 先按关键特征（如用户活跃度、风险等级）分层，再在各层内随机分配，提升组间均衡性。
- 桶随机化： 将实验单元预先分入固定数量的桶（如100桶），实验时按桶分配组别，便于多实验并行管理。
# 用户级随机化示例（Python伪代码）
import hashlib
def assign_group(user_id: str, experiment_name: str, split_ratio: float = 0.5) -> str:
hash_key = f"{user_id}:{experiment_name}"
hash_val = int(hashlib.md5(hash_key.encode()).hexdigest(), 16)
return "control" if (hash_val % 100) < (split_ratio * 100) else "treatment"
2.4 适用场景矩阵
并非所有模型变更都适合A/B测试。以下表格梳理了典型适用场景与不适用场景：
| 场景类别 | 适用示例 | 不适用示例 |
|---|---|---|
| 模型算法替换 | LR → GBDT，验证AUC与业务指标提升 | 模型完全重构且无法并行运行 |
| 特征工程变更 | 新增特征、特征分箱方式调整 | 特征依赖未来数据（数据泄露） |
| 阈值/决策边界调整 | 风控模型拒绝阈值从0.5调至0.6 | 监管要求立即全量切换 |
| 模型更新频率 | 日更新 vs. 周更新，验证稳定性 | 模型无明确版本管理 |
| 后处理/校准 | Platt缩放、等温回归校准 | 校准前后输出分布差异极小 |
模型风险警示： 当模型变更涉及监管合规、客户资金安全或重大声誉风险时，即使A/B测试显示统计显著，也必须经过独立模型验证团队的人工审查与压力测试，不能仅凭A/B结果做全量上线决策。
2.5 A/B测试基本流程（内联SVG）
2.6 模型风险验证中的特殊考量
在模型风险管理框架下，A/B测试需要额外关注以下维度：
- 样本量规划： 基于最小可检测效应量（MDE）和统计功效（通常≥80%）预先计算所需样本量，避免实验过早结束或样本不足导致假阴性。
- 多重比较校正： 同时监控多个指标（如AUC、KS、PSI、业务转化率）时，需使用Bonferroni、FDR等方法控制第一类错误膨胀。
- 网络效应与干扰： 在社交网络、推荐系统等场景中，实验组可能影响对照组用户行为，需采用网络A/B测试或集群随机化。
- 长期效应监测： 模型变更的短期统计显著不一定代表长期稳定，建议设置持续监控期（如2-4周）观察指标收敛情况。
关键原则： A/B测试回答的是“是否有效”，模型风险验证回答的是“是否安全可靠”。两者结合才能做出负责任的模型变更决策。