1. 课程导论：模型评估与 A/B 测试的重要性
在数据驱动的决策时代，模型效果评估与 A/B 测试是连接算法与业务价值的核心桥梁。本课程将系统拆解这两大支柱，帮助你在真实场景中精准衡量模型表现、科学验证策略效果。
为什么模型评估与 A/B 测试至关重要？
- 避免“虚假成功”：仅靠训练集准确率无法反映模型在真实环境中的泛化能力，离线评估与在线验证缺一不可。
- 量化业务影响：模型上线后，A/B 测试能直接衡量其对核心指标（如转化率、留存率、收入）的因果效应。
- 降低决策风险：通过统计显著性检验，避免因随机波动或辛普森悖论导致的错误决策。
- 持续迭代优化：建立评估-实验-迭代的闭环，让模型与策略持续适应数据分布变化。
核心认知：离线评估回答“模型学得好不好”，A/B 测试回答“模型上线后业务变好还是变差”。两者结合，才是完整的模型效果验证体系。
课程目标与学习路径
本课程面向具备基础机器学习知识的数据科学家、算法工程师与数据分析师，旨在帮助你掌握从离线评估到在线实验的完整技能栈。
| 模块 | 核心内容 | 预期产出 |
|---|---|---|
| 基础篇 | 评估指标体系、混淆矩阵、ROC/AUC、偏差方差权衡 | 能独立选择分类/回归/排序任务的评估指标 |
| 进阶篇 | 交叉验证、自助法、置信区间、统计检验 | 能设计稳健的离线评估流程并量化不确定性 |
| 实战篇 | A/B 测试全流程、样本量计算、分流策略、辛普森悖论 | 能独立设计、执行并分析一次完整的 A/B 实验 |
| 案例篇 | 推荐系统、搜索排序、广告点击率、风控模型等真实案例 | 能复现并改进真实业务场景中的评估与实验方案 |
核心概念速览
在深入细节之前，先建立关键术语的直觉理解：
- 混淆矩阵：分类模型预测结果与真实标签的交叉统计表，是计算精确率、召回率、F1 等指标的基础。
- ROC 曲线与 AUC：ROC 曲线展示不同阈值下真正率与假正率的 trade-off；AUC 是曲线下面积，衡量模型整体排序能力。
- 偏差与方差：偏差衡量模型预测的准确性，方差衡量模型对训练数据波动的敏感度。两者存在 trade-off。
- 统计显著性：通过 p 值或置信区间判断观察到的差异是否由随机因素导致，通常以 p < 0.05 作为显著阈值。
- 辛普森悖论：分组比较时呈现的趋势，在合并数据后可能反转。A/B 测试中需警惕分层变量带来的混淆。
学习建议：本章节为后续所有内容奠定基础。建议先通读一遍核心概念，在后续章节遇到具体案例时再回头对照，理解会更深刻。
常见误区：不要将离线评估指标（如 AUC）直接等同于在线业务指标（如收入提升）。两者之间存在“离线-在线鸿沟”，需要通过 A/B 测试来弥合。