1. 课程导论：A/B测试基本概念、特征回放的定义与重要性、课程目标与适用人群
1.1 A/B测试基本概念
A/B测试（又称分桶测试、对照实验）是量化评估产品改动效果的黄金标准方法。其核心思想是：将用户随机分为实验组与对照组，分别暴露于新方案（Treatment）与旧方案（Control），通过对比两组在核心指标上的差异，判断新方案是否带来统计显著的提升。
核心公式： 提升率 = (实验组均值 - 对照组均值) / 对照组均值 × 100%
1.1.1 A/B测试的五大要素
| 要素 | 说明 | 常见问题 |
|---|---|---|
| 随机化 | 用户以独立概率进入各组，保证组间无系统性偏差 | 用户ID哈希不均匀、时间片轮转导致污染 |
| 对照组 | 保持现状（基线版本），作为比较基准 | 对照组被意外污染或包含实验流量 |
| 实验组 | 施加新策略或新特征 | 多组间流量分配不均衡 |
| 核心指标 | 预先定义的量化成功标准（如点击率、转化率） | 指标过多导致多重比较问题 |
| 统计推断 | 通过p值、置信区间判断差异是否由随机误差引起 | 提前停止、样本量不足 |
1.1.2 A/B测试的典型流程
- 提出假设：基于数据洞察或业务经验，形成可验证的因果假设。
- 确定指标：选定主指标（Primary Metric）与辅助指标（Guardrail Metrics）。
- 流量分配：设计分桶策略，确保实验组与对照组在用户维度上可比。
- 运行实验：收集足够样本量，持续监控数据质量与异常。
- 分析结果：计算统计显著性、效应量，评估实际业务影响。
- 决策与回放：根据结果决定全量上线、下线或调整策略。
💡 关键认知： A/B测试不是简单的"跑一次看结果"，而是一套包含实验设计、流量管理、统计推断和决策机制的完整工程体系。
1.2 特征回放的定义与重要性
1.2.1 什么是特征回放
特征回放（Feature Replay / Feature Backfill） 是指在离线或近线环境中，使用历史数据重新计算并回填机器学习模型所需的特征值，使得模型能够在与线上完全一致的特征分布下进行训练、评估或推理。它是连接离线训练与在线推理的核心数据管道。
一句话定义： 特征回放 = 用今天的特征逻辑，重新计算昨天的数据，保证"训练时看到的特征"与"线上推理时看到的特征"完全一致。
1.2.2 特征回放为什么重要
| 维度 | 问题描述 | 特征回放的解决方案 |
|---|---|---|
| 训练-推理一致性 | 线上特征逻辑更新后，旧模型仍使用旧特征，导致分布偏移 | 回放历史数据，使训练集特征与线上最新逻辑对齐 |
| 实验评估公平性 | A/B测试中实验组使用新特征，对照组使用旧特征，对比不公平 | 对两组统一回放，保证特征版本一致 |
| 模型迭代效率 | 每次特征变更都需要重新积累线上数据，周期长 | 回放历史数据，快速生成新特征训练集 |
| 离线回溯分析 | 需要分析历史时刻模型表现，但特征已变更 | 按时间点回放对应版本的特征 |
⚠️ 常见误区： 很多团队认为"只要线上特征计算代码不变，就不需要回放"。实际上，底层数据源变更、数据延迟、特征依赖的上游表结构变化，都会导致隐式的特征漂移，必须通过回放来验证和修复。
1.2.3 特征回放与A/B测试的关系
在特征工程驱动的推荐、广告、搜索等系统中，A/B测试的结论高度依赖特征回放的准确性。如果实验组使用了回放后的新特征，而对照组仍使用旧特征或未回放的特征，则实验结论无法归因于模型策略，而可能只是特征版本差异导致的假阳性。
1.3 课程目标与适用人群
1.3.1 课程目标
通过本课程的学习，学员将能够：
- 理解原理：掌握A/B测试的统计学基础与特征回放的核心设计模式。
- 搭建系统：独立设计并实现一套支持大规模特征回放的实验平台。
- 避免陷阱：识别并规避特征回放中的常见数据偏差与统计陷阱。
- 落地实践：在推荐、广告、搜索等场景中，将A/B测试与特征回放有机结合，提升实验效率与结论可信度。
1.3.2 适用人群
| 角色 | 痛点 | 课程收益 |
|---|---|---|
| 数据科学家 | 实验结论不稳定，特征版本混乱 | 掌握特征回放方法论，提升实验可复现性 |
| 算法工程师 | 模型迭代周期长，离线在线不一致 | 学会搭建回放管道，加速模型迭代 |
| 数据工程师 | 特征管道维护成本高，回溯困难 | 获得回放系统的工程架构设计经验 |
| 技术管理者 | 团队实验效率低，资源浪费严重 | 建立科学的实验评估体系，降低试错成本 |
📚 前置知识建议： 学员需具备基础的统计学知识（假设检验、p值、置信区间）以及基本的Python编程能力。了解机器学习特征工程的基本概念将有助于理解课程中的实践案例。