1. A/B测试概述
1.1 什么是A/B测试
A/B测试，又称拆分测试或对照实验，是一种通过对比两个或多个版本（A组与B组）在真实环境中的表现差异，来验证某个策略变更是否带来统计显著效果提升的量化方法。在金融风控领域，A/B测试的核心逻辑是：在控制其他变量不变的前提下，将用户随机分为实验组和对照组，分别施加不同的额度策略，然后比较两组在风险指标、收益指标上的差异。
核心公式： 效果提升 = (实验组指标均值 - 对照组指标均值) / 对照组指标均值 × 100%
A/B测试的三大基本原则：
- 随机化： 用户必须被无偏地分配到各组，避免选择偏差。
- 对照： 必须有一个保持现状的对照组作为基准。
- 重复： 样本量需足够大，以保证统计功效。
1.2 A/B测试在金融风控中的应用场景
在信贷额度管理中，A/B测试是验证策略有效性的黄金标准。以下是几个典型应用场景：
| 应用场景 | 对照组策略 | 实验组策略 | 核心观测指标 |
|---|---|---|---|
| 额度提升测试 | 维持现有授信额度 | 对优质用户提升20%额度 | 逾期率、使用率、复借率 |
| 利率弹性测试 | 标准年化利率18% | 差异化利率15%~24% | 借款转化率、坏账率 |
| 风控模型上线 | 旧版评分卡 | 新版机器学习模型 | KS值、AUC、通过率 |
| 催收策略测试 | 标准催收话术 | 个性化催收方案 | 回收率、投诉率 |
| 产品功能测试 | 无额度提醒 | 推送额度使用提醒 | 活跃度、提现率 |
实战提示： 在金融风控中，A/B测试的观测周期通常需要覆盖至少一个完整的还款周期（如30天），以避免短期波动带来的误判。对于高风险策略，建议设置灰度发布机制，先以5%的流量进行小范围验证。
1.3 A/B测试与假设检验的关系
A/B测试的统计基础是假设检验。每一次A/B测试本质上都是在回答一个统计问题：实验组与对照组之间的指标差异，是真实存在的策略效果，还是随机波动造成的？
假设检验的标准化流程：
- 提出假设：
- 原假设 H₀：实验组与对照组指标无显著差异（μ₁ = μ₂）
- 备择假设 H₁：实验组与对照组指标存在显著差异（μ₁ ≠ μ₂）
- 选择检验方法： 常用Z检验（大样本）或t检验（小样本）。
- 计算p值： 在H₀成立的前提下，观察到当前样本差异（或更极端差异）的概率。
- 做出决策： 若p值 < 显著性水平α（通常取0.05），则拒绝H₀，认为策略有效。
A/B测试与假设检验的对应关系：
| A/B测试环节 | 假设检验概念 | 说明 |
|---|---|---|
| 设定实验组与对照组 | 定义总体与样本 | 两组用户分别代表两个总体的样本 |
| 计算指标差异 | 计算检验统计量 | 如Z值 = (p₁ - p₂) / SE |
| 判断策略是否有效 | 比较p值与α | p < 0.05 表示统计显著 |
| 确定样本量 | 计算统计功效 | 功效 ≥ 0.8 才能可靠检测到效果 |
常见误区： 统计显著 ≠ 业务显著。当样本量极大时，即使微小的差异（如0.1%的逾期率提升）也可能达到统计显著，但该差异在业务上可能毫无意义。因此，在解读A/B测试结果时，必须同时关注效果量（Effect Size）和业务可接受阈值。
总结来说，A/B测试是假设检验在金融风控策略评估中的工程化实践。它通过严谨的统计框架，帮助风控团队在不确定性中做出数据驱动的决策，避免凭经验或直觉盲目调整额度策略带来的风险。