3. A/B测试基础：定义、核心要素与模型评估的关系
A/B测试（又称分流实验）是模型风险管理中验证模型效果、评估模型变更影响的核心实验方法。在模型上线前或迭代过程中，通过将流量随机分配到不同模型版本，对比关键指标差异，从而做出数据驱动的决策。
3.1 A/B测试的定义
A/B测试是一种受控实验：在同一时间段内，将实验对象（如用户、交易、请求）随机分为两组或多组，分别施加不同的处理（如模型A、模型B），然后比较各组在预设指标上的表现差异。
模型风险管理中的A/B测试定义： 在真实业务流量中，通过随机分流的方式，同时运行基准模型（对照组）与候选模型（实验组），在保证统计显著性的前提下，评估候选模型在效果、稳定性、公平性等方面的表现是否优于或显著不差于基准模型。
3.2 A/B测试的核心要素
A/B测试的严谨性依赖于三个核心要素：对照组、实验组和随机化。三者缺一不可。
| 核心要素 | 定义 | 在模型风险管理中的角色 | 常见错误 |
|---|---|---|---|
| 对照组 | 接受现有处理（如当前线上模型）的组别，作为比较基准 | 代表当前模型的风险水平与业务效果，是评估新模型是否“更好”的参照系 | 对照组受到外部干扰（如同时进行其他策略调整），导致基准偏移 |
| 实验组 | 接受新处理（如候选模型）的组别，是待评估的对象 | 承载新模型的风险暴露，需监控其是否引入额外风险或显著改善效果 | 实验组样本量不足，导致统计功效低，无法检测真实差异 |
| 随机化 | 将实验对象无偏地分配到各组，消除混杂变量影响 | 保证两组在模型输入特征、用户属性、时间分布上可比，使差异归因于模型本身 | 按用户ID奇偶分流（非真正随机）、时间片轮换（受时间效应污染） |
关键原则： 对照组与实验组必须同时运行，且除模型版本外，其他条件（数据管道、特征工程、决策阈值）保持一致。任何非模型因素的差异都会污染实验结果。
3.3 A/B测试与模型评估的关系
模型评估通常分为离线评估与在线评估两个阶段。A/B测试是在线评估的核心手段，与离线评估形成互补。
3.4 A/B测试在模型风险管理中的典型应用场景
- 模型版本迭代： 新特征工程、算法升级、阈值调整后，通过A/B测试验证效果提升是否显著，且未引入额外风险。
- 模型替换评估： 旧模型退役、新模型上线前，必须通过A/B测试证明新模型在关键风险指标上不劣于旧模型（非劣效性检验）。
- 多模型对比： 同时运行多个候选模型（A/B/C/D测试），选择综合表现最优的版本进入生产。
- 公平性审计： 通过A/B测试检查模型对不同群体（如年龄、性别、地域）的预测结果是否存在统计显著的差异。
风险提示： A/B测试本身也存在风险。实验组可能因模型缺陷导致业务损失（如拒绝优质客户、批准高风险交易）。模型风险管理要求：A/B测试必须设置止损机制（如实时监控指标、自动回滚阈值），并在实验前完成离线评估与风险预审。
3.5 小结：A/B测试与模型评估的协同
| 评估维度 | 离线评估 | A/B测试（在线评估） | 生产监控 |
|---|---|---|---|
| 数据来源 | 历史标签数据 | 实时业务流量 | 持续生产数据 |
| 评估指标 | 统计/区分度/稳定性 | 业务指标 + 风险指标 | 漂移/公平性/鲁棒性 |
| 主要目的 | 模型选型与调参 | 验证模型上线可行性 | 长期风险监控 |
| 风险管理角色 | 初步风险筛查 | 上线前最终验证 | 持续风险预警 |