1. 风控A/B测试概述

A/B测试（又称拆分测试或对照实验）在风控领域是验证策略效果、量化模型增量、降低上线风险的核心量化工具。与产品增长侧的A/B测试不同，风控A/B测试直接面对坏账率、逾期率、通过率、授信额度等金融级核心指标，其设计严谨性和评估方法直接关系到平台资金安全与用户体验平衡。

1.1 A/B测试在风控中的核心价值

• 量化策略增量：在真实流量中分离出策略带来的边际收益，避免“凭感觉上线”。
• 降低上线风险：小流量验证新策略的坏账、通过率波动，防止全量上线后出现不可逆损失。
• 支持快速迭代：通过实验快速淘汰无效规则、调优模型阈值，缩短策略优化周期。
• 建立数据决策文化：用统计显著性替代主观判断，提升风控团队与业务方的协作效率。

1.2 与传统A/B测试的区别

1.3 适用场景

风控A/B测试覆盖策略全生命周期，以下三类场景最为典型：

场景一：策略上线

• 新策略灰度验证：如引入第三方数据源、调整准入规则、新增拒绝策略。
• 额度策略调优：测试不同额度计算公式对通过率与坏账率的影响。
• 定价策略实验：利率、费率、分期方案对用户履约行为的影响。

场景二：模型迭代

• 评分卡版本升级：从 A卡 v1.0 升级到 v2.0，验证区分度和排序能力。
• 机器学习模型上线：XGBoost、神经网络等复杂模型与逻辑回归基准模型对比。
• 模型阈值调优：调整拒绝阈值、预警阈值，平衡通过率与坏账率。

场景三：规则调优

• 单一规则开关：测试某条规则（如“近30天查询次数>10拒绝”）是否有效。
• 规则组合优化：调整规则优先级、并行/串行执行顺序。
• 规则参数微调：如将“近7天逾期次数≥2”调整为“≥3”，观察通过率与坏账变化。

1.4 风控A/B测试的典型流程

1. 定义实验目标与指标：明确主指标（如30天逾期率）、辅指标（通过率、额度使用率）、护栏指标（坏账率上限）。
2. 设计实验方案：确定分流比例（如5%实验组 vs 5%对照组）、分流单位、实验周期。
3. 样本量计算：基于基线指标、最小可检测效果、统计功效（通常80%）、显著性水平（通常0.01）计算所需样本。
4. 上线与数据采集：部署实验分流逻辑，实时监控指标波动，设置止损线。
5. 效果评估与决策：实验结束后进行统计检验，评估效果量，决定全量、调整或下线。