4. AB测试在风控中的适用场景：策略规则调优、模型阈值调整、新模型上线验证、风控流程变更

风控策略的每一次调整都伴随着收益与风险的权衡。AB测试并非万能工具，但在以下四类场景中，它能提供比离线回测更可靠的因果推断，帮助策略团队在真实流量中验证假设，避免“上线即翻车”。

4.1 四大核心适用场景总览

下表从变更类型、典型动作、核心指标和实验周期四个维度，对四类场景进行横向对比：

4.2 场景一：策略规则调优

规则调优是风控策略迭代中最频繁的操作。常见的变更包括：调整多头借贷规则的阈值、新增设备指纹规则、修改规则之间的逻辑关系（AND/OR）。

AB测试在此场景中的核心价值：验证新规则组合在真实流量中的误杀率和漏过率变化，避免离线回测中的样本偏差。

• 实验设计要点：对照组使用现有规则集，实验组使用调优后的规则集。两组共享同一模型评分，仅规则逻辑不同。
• 关键指标：通过率（Pass Rate）、首逾率（FPD30）、人工审核量。
• 常见陷阱：规则调优后通过率上升，但坏账率同步上升——需要设置“通过率+坏账率”的复合决策指标。

4.3 场景二：模型阈值调整

模型阈值（cut-off）决定了用户被划分为“通过”或“拒绝”的分界线。阈值调整直接影响通过率和资产质量，是风控策略中杠杆效应最大的操作之一。

AB测试在此场景中的核心价值：在真实业务环境中找到最优阈值点，平衡通过率与坏账率。

• 实验设计要点：对照组使用当前阈值，实验组使用新阈值。建议采用多臂实验（Multi-arm），同时测试2~3个候选阈值。
• 关键指标：通过率、坏账率（Bad Rate）、KS值、利润曲线。
• 注意事项：阈值调整后，模型本身的区分度（KS/AUC）不应发生显著变化——如果变化，说明阈值调整暴露了模型在某个分数段的缺陷。

4.4 场景三：新模型上线验证

新模型上线是风控策略迭代中风险最高的变更。离线指标（KS、AUC）再漂亮，也无法完全模拟线上环境的数据分布变化和业务反馈。

AB测试在此场景中的核心价值：在真实流量中并行运行新旧模型，直接对比两者的业务收益和稳定性。

• 实验设计要点：对照组使用旧模型+现有策略，实验组使用新模型+现有策略。两组策略规则完全一致，仅模型评分不同。
• 关键指标：区分度（KS/AUC）、稳定性（PSI）、通过率、坏账率、逾期回收率。
• 实验周期：至少覆盖一个完整的账期（如30天），建议延长至60天以观察长期表现。

4.5 场景四：风控流程变更

风控流程变更涉及用户交互环节的调整，例如：新增人脸识别验证、增加短信二次确认、调整审核步骤顺序。这类变更不仅影响风控效果，还直接影响用户体验和转化率。

AB测试在此场景中的核心价值：量化流程变更对用户转化漏斗的影响，避免“风控效果提升但用户流失严重”的尴尬局面。

• 实验设计要点：对照组走原流程，实验组走新流程。需要在前端和后端同时埋点，追踪每一步的转化率。
• 关键指标：各环节转化率、整体通过率、用户操作耗时、用户投诉率。
• 特殊考量：流程变更可能引入用户选择偏差（如用户主动放弃验证），需要在分析时区分“系统拒绝”和“用户放弃”。

4.6 场景适用性决策流程

以下SVG图展示了风控策略变更时，如何判断是否适合使用AB测试：

4.7 四类场景的AB测试设计要点对比

不同场景在实验设计上存在显著差异，以下表格总结了关键设计参数：