1. 课程导论：A/B 测试与特征回放对比的基本概念、课程目标与适用人群
1.1 为什么需要这门课程？
在推荐系统、搜索排序与广告投放等工业级机器学习应用中，特征工程的质量直接决定模型效果的上限。然而，当数据科学家开发出一个新的特征（例如“用户过去7天点击某类商品的次数”），如何科学、高效地验证该特征是否真正对模型有正向贡献？
传统的做法是：训练两版模型（基线 vs. 新特征），进行离线评估，再上线做完整的 A/B 测试。但这种方式周期长、资源消耗大，且容易受到模型结构变化、训练数据漂移等因素的干扰。特征回放对比（Feature Replay Comparison）提供了一种轻量级、聚焦于特征本身效果的验证方法，而 A/B 测试则为这种对比提供了严格的统计框架。
核心洞察： 本课程将 A/B 测试的严谨性与特征回放的高效性结合，帮助你在数小时内（而非数周）判断一个特征是否值得上线。
1.2 核心概念速览
在深入课程之前，我们先明确两个核心术语的定义与区别。
| 概念 | 定义 | 核心目标 |
|---|---|---|
| A/B 测试 | 一种随机对照实验，将用户或样本随机分为两组（实验组与对照组），分别施加不同的处理（如不同模型版本），通过对比两组在核心指标上的差异，判断处理效果是否具有统计显著性。 | 验证因果效应，确保观察到的差异是由处理引起的，而非随机噪声。 |
| 特征回放对比 | 一种离线验证方法，固定模型的其他部分（如模型结构、训练数据、超参数），仅替换或新增待测特征，在历史日志数据上“回放”预测过程，对比新旧特征下的预测结果差异。 | 隔离特征影响，快速评估单一特征对模型预测能力的边际贡献。 |
类比理解： 如果把模型比作一辆赛车，A/B 测试是更换整台发动机（新模型）后去赛道上跑圈；而特征回放对比则是只更换一个火花塞（新特征），在测功机上观察功率变化。后者更快、更聚焦，但需要确保测功机（回放框架）的准确性。
1.3 特征回放对比的典型流程
下图展示了特征回放对比在 A/B 测试框架下的标准工作流。该流程将离线特征验证与在线实验决策无缝衔接。
1.4 课程目标
完成本课程后，你将能够：
- 理解原理： 掌握 A/B 测试的统计基础（假设检验、p 值、置信区间）以及特征回放对比的数学本质。
- 搭建框架： 学会设计并实现一个轻量级的特征回放对比系统，支持离线批量评估。
- 执行实验： 能够独立设计 A/B 实验方案，包括样本量计算、分流策略、指标选取与最小可检测效应（MDE）设定。
- 分析结果： 熟练运用统计方法分析回放对比结果与 A/B 测试结果，避免常见陷阱（如多重比较、辛普森悖论）。
- 落地决策： 建立从“特征回放对比 → A/B 测试 → 全量上线”的标准化决策流程。
1.5 适用人群
本课程面向以下三类核心人群：
| 角色 | 痛点 | 课程价值 |
|---|---|---|
| 推荐/搜索算法工程师 | 特征迭代频繁，但每次验证都需要重新训练模型，周期长、成本高。 | 学会使用特征回放快速筛选特征，大幅缩短实验周期。 |
| 数据科学家 / 数据分析师 | 对 A/B 测试的统计原理理解不深，容易得出错误结论。 | 系统掌握 A/B 测试方法论，并能将其应用于特征验证场景。 |
| 机器学习平台 / MLOps 工程师 | 需要设计特征存储、回放与实验管理的平台架构。 | 获得特征回放系统的架构设计思路与最佳实践。 |
前置要求： 建议学习者具备基础的 Python 编程能力，了解机器学习基本概念（如特征、模型、损失函数），并对统计学中的均值、方差、正态分布有初步认识。本课程不要求深入的数学推导，但会涉及关键公式。
1.6 课程内容概览
本课程共分为 8 个模块，30 个章节，从基础概念到工业落地，层层递进：
- 模块一（第 1-4 章）： 基础概念与工具准备（A/B 测试统计基础、特征回放原理、Python 环境搭建）。
- 模块二（第 5-9 章）： 特征回放引擎设计与实现（数据管道、特征存储、回放计算、结果校验）。
- 模块三（第 10-14 章）： A/B 实验设计（分流策略、样本量计算、指标体系、MDE 设定）。
- 模块四（第 15-19 章）： 统计分析方法（假设检验、置信区间、贝叶斯方法、多重比较校正）。
- 模块五（第 20-23 章）： 实战案例（搜索排序特征验证、推荐召回特征验证、广告 CTR 特征验证）。
- 模块六（第 24-26 章）： 高级话题（在线学习与特征回放、非线性模型的特征贡献评估）。
- 模块七（第 27-28 章）： 常见陷阱与避坑指南（数据泄露、时间穿越、样本偏差）。
- 模块八（第 29-30 章）： 总结与未来展望（课程回顾、特征工程自动化趋势）。