2. A/B测试基础概念
A/B测试（又称随机对照试验）是金融风险模型效果评估中最严谨的因果推断方法。其核心思想是：在相同的业务环境下，将用户或样本随机分为两组，分别应用现有模型（对照组）和新模型（实验组），通过比较两组在关键风险指标上的差异，判断新模型是否显著优于现有模型。
2.1 对照组与实验组
| 组别 | 定义 | 金融风险场景示例 |
|---|---|---|
| 对照组（Control Group） | 保持现有模型或策略不变，作为比较基准的组别 | 继续使用当前信用评分卡进行审批决策 |
| 实验组（Treatment Group） | 应用新模型或新策略，观察效果变化的组别 | 使用新开发的机器学习评分模型进行审批 |
关键原则：两组之间唯一的系统性差异应当是“是否应用新模型”。其他所有因素（数据源、计算环境、业务规则、时间窗口）必须保持一致，否则无法将效果差异归因于模型变更。
2.2 随机化原则
随机化是A/B测试的基石，其目的是消除选择偏差（Selection Bias），确保两组在测试开始前在所有可观测和不可观测特征上具有可比性。
- 简单随机化：每个样本以固定概率（通常50%/50%）独立分配至对照组或实验组。
- 分层随机化：先按关键风险特征（如信用评分区间、贷款金额、地区）分层，再在每层内随机分配，保证各层内两组样本比例均衡。
- 整群随机化：以群体（如分行、渠道、时间段）为单位进行随机分配，适用于个体间存在强关联的场景。
避坑提示：切勿在随机化过程中引入人为干预（如“将高风险客户优先分到实验组”）。任何非随机分配都会破坏测试的统计有效性，导致评估结果不可信。
2.3 假设检验
假设检验是A/B测试的统计推断框架，通过构造两个互斥的假设，利用样本数据判断新模型的效果是否具有统计显著性。
2.3.1 原假设与备择假设
| 假设类型 | 符号 | 含义 | 金融风险场景表述 |
|---|---|---|---|
| 原假设（H₀） | H₀ | 两组之间无差异，新模型效果不优于现有模型 | 新模型与现有模型的坏账率无显著差异 |
| 备择假设（H₁） | H₁ | 两组之间存在显著差异，新模型效果优于现有模型 | 新模型的坏账率显著低于现有模型 |
决策逻辑：我们无法直接证明H₁为真，而是通过收集证据来拒绝H₀。如果样本数据提供的证据足够强（即观察到极端结果的概率足够低），则拒绝H₀，接受H₁。
2.3.2 显著性水平与p值
- 显著性水平（α）：预先设定的阈值，表示当H₀为真时错误拒绝H₀的最大可接受概率。金融风控中通常取α = 0.05（5%）或α = 0.01（1%）。
- p值：在H₀为真的前提下，观察到当前样本结果（或更极端结果）的概率。p值越小，说明样本数据与H₀的兼容性越差，越有理由拒绝H₀。
2.4 两类错误与统计功效
| 决策结果 | H₀ 为真（新模型无效） | H₁ 为真（新模型有效） |
|---|---|---|
| 不拒绝 H₀ | ✅ 正确决策（置信度 = 1 - α） | ❌ 第二类错误（β）—— 漏检 |
| 拒绝 H₀ | ❌ 第一类错误（α）—— 误报 | ✅ 正确决策（统计功效 = 1 - β） |
金融风控实践建议：在风险模型评估中，第一类错误（误将无效模型判定为有效）可能导致部署劣质模型，造成实际损失；第二类错误（漏掉有效模型）则可能错失优化机会。通常建议将α控制在0.05以下，同时通过增大样本量来降低β，确保统计功效（1-β）不低于80%。