1. 课程导论：金融风控模型A/B测试的重要性、课程目标与学习路径、A/B测试在信贷与反欺诈场景中的应用概览
1.1 为什么金融风控模型需要A/B测试？
在信贷与反欺诈领域，模型直接决定资金安全与业务收益。传统的离线评估（如KS、AUC、Lift）只能反映模型在历史数据上的静态表现，无法捕捉线上真实环境中的用户行为漂移、策略对抗与流量分布变化。A/B测试是连接模型开发与业务价值的唯一桥梁，它通过随机对照实验，量化新模型在真实流量下的边际收益与风险。
核心痛点： 离线指标好 ≠ 线上效果好。模型上线后可能因用户拒绝率变化、欺诈分子策略调整、数据分布偏移等原因导致实际效果远低于预期。A/B测试是验证模型“线上真值”的唯一标准。
| 对比维度 | 离线评估 | A/B测试 |
|---|---|---|
| 数据来源 | 历史固定样本 | 实时线上流量 |
| 评估指标 | KS、AUC、PSI | 通过率、逾期率、欺诈率、ROI |
| 因果推断 | 相关性 | 因果性（随机分流） |
| 对抗性 | 无 | 可捕捉策略对抗 |
| 业务风险 | 低（离线模拟） | 可控（小流量实验） |
1.2 课程目标与学习路径
本课程旨在培养具备金融业务理解、统计实验设计与模型部署能力的复合型风控专家。完成课程后，你将能够独立设计、执行并分析金融风控模型的A/B测试，并基于实验结果做出科学的模型迭代决策。
- 核心目标一： 掌握A/B测试的统计学基础（假设检验、样本量计算、多重比较校正）。
- 核心目标二： 学会在信贷审批、额度定价、反欺诈拦截等场景中设计实验方案。
- 核心目标三： 能够使用Python/R实现分流、指标计算与显著性检验。
- 核心目标四： 理解实验陷阱（如网络效应、幸存者偏差、数据污染）并制定规避策略。
学习路径建议： 建议按“统计学基础 → 实验设计 → 代码实现 → 案例分析 → 实战项目”的顺序学习。每章均配有代码示例与数据集，请务必动手实践。
1.3 A/B测试在信贷与反欺诈场景中的应用概览
金融风控的A/B测试并非通用互联网实验的简单复制，它需要处理样本稀缺、长周期延迟、业务风险敏感等特殊约束。以下是两个核心场景的典型应用：
1.3.1 信贷审批场景
- 模型迭代验证： 新评分卡 vs 旧评分卡，对比通过率、30天逾期率、坏账率。
- 额度策略调优： 不同额度分配模型对用户复借率、客单价的影响。
- 定价策略测试： 利率差异化模型对用户转化率与风险自选效应的影响。
1.3.2 反欺诈场景
- 规则引擎升级： 新增规则或模型对欺诈拦截率、误杀率的影响。
- 设备指纹/生物探针： 新认证方式对通过率与欺诈通过率的影响。
- 团伙检测模型： 图算法模型对关联欺诈的识别效果验证。
注意： 反欺诈场景中，欺诈分子可能快速适应新策略，导致实验效果随时间衰减。建议采用“分时段交叉验证”或“实时监控+提前停止”机制。
1.4 课程核心能力模型
| 能力维度 | 具体技能 | 对应章节 |
|---|---|---|
| 统计学基础 | 假设检验、样本量计算、多重比较校正 | 第2-3章 |
| 实验设计 | 分流策略、指标选择、实验周期确定 | 第4-6章 |
| 代码实现 | Python分流、指标计算、显著性检验 | 第7-9章 |
| 案例分析 | 信贷审批、反欺诈、额度定价实战 | 第10-15章 |
| 高阶专题 | 网络效应、长期效应、多臂老虎机 | 第16-20章 |
课程特色： 每章均包含“避坑指南”与“代码模板”，帮助你在实际工作中快速复用。建议在学习过程中建立自己的实验设计检查清单。