2. A/B测试基础概念：定义、假设检验、统计显著性与置信区间
在信用评分模型迭代中，A/B测试是验证新模型是否优于旧模型的核心实验方法。本章将系统讲解A/B测试的四大基础概念，为后续实战打下坚实的统计学基础。
2.1 A/B测试的定义与核心要素
A/B测试（又称拆分测试）是一种随机对照实验：将用户或样本随机分为两组，分别应用旧模型（控制组/A组）和新模型（实验组/B组），通过对比两组的关键业务指标来判断新模型是否有效。
| 要素 | 说明 | 信用评分场景示例 |
|---|---|---|
| 控制组（A组） | 使用现有生产模型 | 当前线上运行的评分卡V2.0 |
| 实验组（B组） | 使用待验证的新模型 | 新开发的评分卡V3.0（含特征X） |
| 随机分配 | 确保两组除模型外其他因素均衡 | 按申请ID奇偶随机分流 |
| 核心指标 | 衡量模型效果的量化标准 | 坏账率、通过率、KS值 |
| 样本量 | 每组所需的最小样本数 | 每组至少5000笔申请 |
💡 信用评分A/B测试的特殊性： 不同于互联网产品的快速迭代，信用模型A/B测试通常持续数周甚至数月，因为需要观察贷款全生命周期的逾期表现。建议在测试前通过历史数据模拟估算所需时长。
2.2 假设检验：从业务问题到统计决策
假设检验是A/B测试的统计引擎。我们将业务问题转化为两个互斥的统计假设：
- 原假设 H₀： 新模型与旧模型效果无差异（或新模型不优于旧模型）。例如：新模型坏账率 ≥ 旧模型坏账率。
- 备择假设 H₁： 新模型效果优于旧模型（或存在显著差异）。例如：新模型坏账率 < 旧模型坏账率。
测试的目标是：如果样本数据提供的证据足够强，就拒绝 H₀，接受 H₁；否则维持 H₀。
| 决策结果 | H₀ 为真（新模型无效） | H₁ 为真（新模型有效） |
|---|---|---|
| 拒绝 H₀（上线新模型） | 第一类错误（α）—— 误拒真 | 正确决策（1-β）—— 统计功效 |
| 不拒绝 H₀（保留旧模型） | 正确决策（1-α）—— 置信水平 | 第二类错误（β）—— 纳伪 |
⚠️ 信用评分场景的代价权衡： 第一类错误（误认为新模型更好）可能导致上线一个实际无效的模型，造成坏账损失；第二类错误（错过真正更好的模型）则损失了优化机会。通常将 α 设为 0.05，β 设为 0.20（功效 0.80），但在高风险信贷场景中可收紧 α 至 0.01。
2.3 统计显著性：p值与决策阈值
统计显著性通过 p值 来量化：p值表示在原假设 H₀ 为真的前提下，观察到当前样本结果（或更极端结果）的概率。
- p值 ≤ α（通常 0.05）： 结果具有统计显著性，拒绝 H₀，认为新模型有效。
- p值 > α： 结果不显著，没有足够证据拒绝 H₀，维持旧模型。
在信用评分A/B测试中，常用的显著性检验方法包括：
| 指标类型 | 推荐检验方法 | 适用场景 |
|---|---|---|
| 二分类（逾期/非逾期） | Z检验（比例检验） | 对比两组坏账率 |
| 连续变量（评分均值） | 独立样本t检验 | 对比两组平均分 |
| 分布差异（KS值） | Kolmogorov-Smirnov检验 | 对比两组评分分布 |
📌 关键提醒： 统计显著 ≠ 业务显著。一个p值很小的结果可能来自超大样本，但实际效果提升（如坏账率降低0.01%）在业务上毫无意义。务必同时关注效果量（Effect Size）。
2.4 置信区间：效果量的不确定性表达
置信区间（Confidence Interval, CI）给出了模型效果量的一个范围估计，比单纯的p值提供更多信息。例如：“新模型使坏账率降低 0.8%，95%置信区间为 [0.3%, 1.3%]”。
- 95%置信区间： 如果重复实验100次，大约有95次计算出的区间会包含真实的坏账率差异。
- 区间宽度： 样本量越大，区间越窄，估计越精确。
- 是否包含零： 若95%置信区间不包含0，等价于p < 0.05的显著性结论。
📊 信用评分实战建议： 在A/B测试报告中，同时报告p值和置信区间。例如：“新模型坏账率降低0.8%（p=0.003, 95%CI: [0.3%, 1.3%]）”，既说明统计显著，又展示效果量范围，便于业务方评估实际收益。
2.5 概念对比速查表
| 概念 | 定义 | 信用评分示例 | 常见误区 |
|---|---|---|---|
| p值 | H₀为真时观察到当前结果的概率 | p=0.03，表示若新旧模型无差异，仅3%概率出现当前坏账率差距 | ❌ p值不是H₀为真的概率 |
| α（显著性水平） | 拒绝H₀时允许犯第一类错误的最大概率 | α=0.05，即愿意承担5%的误上新模型风险 | ❌ α不是p值的阈值，而是事先设定的 |
| 统计功效（1-β） | 当H₁为真时正确拒绝H₀的概率 | 功效0.80，表示有80%把握检测到新模型的真实效果 | ❌ 功效不足时，不显著不代表无效果 |
| 置信区间 | 包含真实效果量的范围估计 | 95%CI: [0.3%, 1.3%]，真实坏账率降低在此区间内 | ❌ 不是95%的样本数据落在此区间 |
⚠️ 多重比较问题： 在信用评分A/B测试中，如果同时检验多个指标（坏账率、通过率、KS值、AUC等），每个检验都有α=0.05的犯错概率。同时检验k个指标时，至少犯一次第一类错误的概率为 1-(1-α)ᵏ。建议使用Bonferroni校正：将α除以检验次数，或预先指定一个主要指标作为决策依据。
2.6 本章小结
- A/B测试 是信用评分模型迭代的黄金标准，通过随机对照实验验证新模型效果。
- 假设检验 将业务问题转化为 H₀ 与 H₁ 的统计决策，需权衡第一类错误（α）与第二类错误（β）。
- 统计显著性 通过 p 值与 α 比较来判断，但显著不等于业务重要。
- 置信区间 提供了效果量的范围估计，比单一 p 值更具业务参考价值。
- 在信用评分场景中，始终结合 统计显著性 与 业务显著性 做最终决策。