1. 课程导论：逾期预测模型A/B测试的价值、课程目标与学习路径
在信贷业务中，风控模型的上线并非终点，而是持续验证与优化的起点。传统的离线指标（如KS、AUC）无法完全捕捉模型在真实业务环境中的表现，而A/B测试为逾期预测模型提供了“在线验证”的黄金标准。本章将阐明A/B测试在信贷风控中的核心价值，并为你规划清晰的学习路径。
1.1 为什么信贷风控需要A/B测试？
许多团队在模型上线后仅监控离线指标，却忽略了以下关键问题：
- 离线-在线偏差：训练数据分布与实时流量分布不一致，导致模型实际效果低于预期。
- 业务策略干扰：模型分数变化可能引发审批策略、催收策略的联动调整，单一指标无法评估全局影响。
- 长期效应不可见：逾期表现具有滞后性，离线回测无法模拟真实的时间衰减与用户行为变化。
核心观点：A/B测试是连接模型开发与业务价值的桥梁，它用随机对照实验的方式，量化模型替换带来的逾期率变化、通过率变化及利润影响。
1.2 逾期预测模型A/B测试的三大价值
| 价值维度 | 具体说明 | 业务收益 |
|---|---|---|
| 效果验证 | 在真实流量中对比新模型（实验组）与旧模型（对照组）的逾期率差异 | 避免模型回测“虚高”，确保上线后风险可控 |
| 策略调优 | 测试不同分数阈值、拒绝策略、额度策略的组合效果 | 找到风险与收益的最优平衡点 |
| 归因分析 | 隔离模型变更与其他业务变更的混杂效应 | 精准评估模型贡献，避免归因错误 |
1.3 课程目标
完成本课程后，你将能够：
- 设计信贷场景下的A/B测试方案，包括分流策略、样本量计算与实验时长规划。
- 实施逾期预测模型的在线实验，处理模型分数、审批结果、逾期标签的数据链路。
- 分析实验结果，使用统计检验（如Z检验、卡方检验）判断模型是否显著优于对照组。
- 落地将A/B测试流程嵌入风控模型迭代的CI/CD体系，实现自动化验证。
适用人群：本课程面向风控建模师、数据分析师、策略分析师及机器学习工程师。建议具备基础的Python编程能力与统计学知识（如假设检验、置信区间）。
1.4 学习路径与章节地图
课程共30章，分为四大模块，以下为整体学习路径：
1.5 你将掌握的核心技能
| 技能领域 | 具体技能 | 对应章节 |
|---|---|---|
| 实验设计 | 随机分流、样本量计算、AA测试、MDE设定 | 第6-9章 |
| 数据工程 | 实验埋点、离线-在线数据对齐、逾期标签生成 | 第10-12章 |
| 统计分析 | Z检验、卡方检验、置信区间、多重比较校正 | 第13-17章 |
| 业务落地 | 实验报告撰写、策略建议、自动化实验平台 | 第23-30章 |
重要提醒：A/B测试不是万能的。当样本量不足、实验周期过短或存在网络效应时，实验结果可能失真。本课程将在第8章（样本量计算）与第18章（常见陷阱）中详细讲解如何规避这些问题。
1.6 课程配套资源
- 代码仓库：每章提供完整的Python代码（Jupyter Notebook格式），包含数据生成、实验设计、统计检验与可视化。
- 模拟数据集：基于真实信贷场景脱敏生成的用户申请数据、模型分数与逾期标签。
- 实验模板：可直接复用的A/B测试分析模板，支持一键生成实验报告。
现在，让我们从第2章开始，深入理解逾期预测模型的核心指标与A/B测试的基础概念。