1. 课程导论：A/B测试在金融风控中的重要性、模型评估的核心挑战、课程整体框架与学习目标
1.1 为什么金融风控需要A/B测试？
在金融风控领域，模型的上线并非终点，而是持续验证与优化的起点。传统的离线评估（如回测、KS、AUC）只能反映模型在历史数据上的表现，却无法捕捉真实业务环境中的用户行为变化、数据分布漂移以及策略交互效应。A/B测试（随机对照试验） 是连接离线模型与在线业务效果的黄金标准，它通过严格的实验设计，量化新模型相对于旧模型在风险识别、通过率、坏账率等核心指标上的真实因果效应。
核心观点： 离线指标是“潜力”，A/B测试是“实绩”。没有A/B验证的模型上线，等同于在真实资金环境中进行无对照的冒险。
1.2 模型评估的核心挑战
金融风控模型的A/B评估并非简单的流量切分，它面临以下三大核心挑战：
- 样本偏差与生存偏差： 线上流量并非随机分布，不同客群、不同时间段的用户风险特征差异巨大。直接对比两组模型的整体指标，可能因样本结构不同而产生误导性结论。
- 长周期与延迟反馈： 信贷风险具有明显的滞后性（如逾期30天、90天）。A/B测试需要足够长的观察窗口，如何在等待期内做出早期决策，是评估方法的关键难点。
- 多目标冲突与统计显著性： 风控模型通常需要同时优化通过率、坏账率、授信额度利用率等多个指标。一个模型可能在降低坏账的同时也大幅降低了通过率，如何科学地权衡并判断差异是否具有统计显著性，是评估的核心技术问题。
| 挑战维度 | 具体描述 | 典型后果 |
|---|---|---|
| 样本偏差 | 实验组与对照组用户画像不一致 | 指标对比失真，误判模型效果 |
| 延迟反馈 | 风险表现需要数周或数月才能显现 | 早期决策依据不足，错过优化窗口 |
| 多目标冲突 | 通过率与坏账率往往此消彼长 | 单一指标优化导致业务整体受损 |
| 统计显著性 | 样本量不足或波动过大导致结论不可靠 | 误将随机波动当作真实效果，上线后回退 |
1.3 课程整体框架与学习目标
本课程旨在系统性地解决上述挑战，构建一套从实验设计到效果归因的完整方法论。课程共分为四大模块：
- 基础篇： 回顾A/B测试的统计学原理（假设检验、置信区间、功效分析），并针对金融风控场景进行适配性改造。
- 设计篇： 深入讲解分流策略（用户级、请求级、分层分流）、最小样本量计算、以及如何规避网络效应与干扰。
- 评估篇： 核心内容。涵盖延迟反馈处理（生存分析、时间截断）、多指标综合评估（OEC、加权评分卡）、以及非参数检验方法。
- 实战篇： 通过真实风控模型A/B案例，展示从实验配置、数据采集、指标计算到最终决策的全流程代码实现。
学习目标： 完成本课程后，你将能够独立设计一个金融风控模型的A/B实验方案，准确解读实验结果，并基于统计证据做出模型上线或回滚的决策。
1.4 为什么传统评估方法不够？
在进入A/B测试之前，有必要厘清传统离线评估的局限性。下表对比了三种常见评估方法的核心差异：
| 评估方法 | 数据来源 | 能否识别因果效应 | 对延迟反馈的处理 | 适用阶段 |
|---|---|---|---|---|
| 离线回测 | 历史存量数据 | 否（仅相关性） | 依赖历史标签 | 模型开发期 |
| 时间序列对比 | 线上时序数据 | 弱（受时间趋势干扰） | 需手动对齐窗口 | 初步监控 |
| A/B测试 | 线上随机分流数据 | 是（随机化保证） | 可通过生存分析建模 | 上线前验证 |
注意： 离线回测中表现优异的模型，在线上A/B测试中可能因为用户策略适应、数据分布漂移等原因而效果不佳。切勿将离线指标直接等同于线上收益。