1. 课程导论：A/B测试在量化策略评估中的核心价值、课程目标与学习路径
1.1 为什么量化策略需要A/B测试？
量化策略的研发本质上是一个假设驱动、数据验证的迭代过程。传统回测（Backtesting）虽然能提供历史表现数据，但往往面临过拟合、幸存者偏差、未来函数等陷阱。A/B测试（又称随机对照试验）为策略评估提供了一种因果推断的黄金标准，帮助交易员和量化研究员在实盘或仿真环境中，科学地衡量策略改动带来的真实收益增量。
核心价值对比：回测 vs. A/B测试
| 维度 | 传统回测 | A/B测试 |
|---|---|---|
| 因果推断能力 | 弱（仅能观察相关性，无法排除混杂因素） | 强（随机化分组可有效控制混淆变量） |
| 过拟合风险 | 高（反复调参易导致路径依赖） | 低（通过样本外分组验证策略泛化能力） |
| 实盘适应性 | 低（模拟环境无法完全复刻市场冲击与滑点） | 高（可在仿真或小规模实盘中直接检验） |
| 统计显著性 | 通常不提供（仅看收益曲线） | 必须提供（p值、置信区间、功效分析） |
| 迭代效率 | 快但不可靠（容易陷入假阳性） | 慢但可靠（每次改动都有统计证据支撑） |
1.2 A/B测试在量化金融中的三大核心价值
- 分离信号与噪声：金融市场本身具有高波动性，策略收益的波动往往被市场整体走势主导。A/B测试通过同时运行对照组（原策略）和实验组（新策略），在相同市场条件下比较两者的差异，从而剥离市场噪声，聚焦策略本身的信号。
- 降低决策成本：避免仅凭回测曲线或短期实盘表现就盲目上线新策略。A/B测试提供了一套标准化的决策流程，只有当实验结果达到预设的统计显著性阈值时，才进行策略切换，从而减少因误判带来的资金损失。
- 支持多因子与参数调优：在因子投资或参数优化场景中，A/B测试可以同时测试多个候选因子或参数组合，通过多重比较校正（如Bonferroni、FDR控制）筛选出真正有效的改进方向。
量化实战提示： 在实盘A/B测试中，建议将实验组资金比例控制在总资金的5%-20%之间，既能获得足够的统计功效，又能控制因策略失效带来的最大回撤风险。
1.3 课程目标与学习路径
本课程旨在帮助量化从业者建立一套完整的A/B测试知识体系，从统计学原理到量化策略的具体落地。课程共分为30章，覆盖以下四大模块：
- 基础篇（第1-8章）：A/B测试的统计学基础、假设检验、功效分析、多重比较校正。
- 方法篇（第9-16章）：量化策略中的分组设计、时间序列交叉验证、样本分割策略、最小可检测效应。
- 实战篇（第17-24章）：回测与A/B测试的融合框架、仿真环境搭建、实盘部署流程、常见陷阱与规避。
- 进阶篇（第25-30章）：贝叶斯A/B测试、多臂老虎机算法、强化学习与自适应实验设计。
学习路径建议：具备基础统计学知识的学员可直接从第9章开始；初学者建议按章节顺序学习，并完成每章附带的Python代码练习。
1.4 A/B测试在量化策略评估中的核心流程
下图展示了将A/B测试嵌入量化策略评估的标准工作流，从策略假设提出到最终上线决策的完整闭环。
1.5 学习路径与章节地图
为了帮助学员快速定位当前知识位置，下图展示了本课程30章的结构化地图，按四大模块组织，并标注了每章的核心主题。
1.6 预备知识与工具要求
| 类别 | 具体要求 | 推荐资源 |
|---|---|---|
| 统计学基础 | 理解概率分布、中心极限定理、假设检验基本概念 | 《统计学习导论》第1-4章 |
| 编程能力 | 熟练使用Python，了解pandas、numpy、scipy | Python官方教程 + Kaggle微课程 |
| 量化知识 | 了解回测框架、策略评价指标（夏普比率、最大回撤） | 本课程第0章（前置知识回顾） |
| 工具环境 | Jupyter Notebook / VS Code + Python 3.8+ | Anaconda发行版 |
重要提醒： 本课程所有代码示例均基于Python 3.8+，建议使用虚拟环境（如conda或venv）隔离项目依赖，避免包版本冲突。每章末尾的练习题需要独立完成，以巩固对A/B测试统计原理的理解。