1. 课程导论：LightGBM 简介、A/B 测试在模型评估中的重要性、本课程学习目标与前置知识
1.1 LightGBM 是什么？
LightGBM（Light Gradient Boosting Machine）是由微软团队开发的高性能梯度提升决策树（GBDT）框架。它采用基于直方图的算法、GOSS（梯度单边采样）和 EFB（互斥特征捆绑）两大创新技术，在保持高准确率的同时，显著降低了内存占用并提升了训练速度。
核心优势： 相比传统 GBDT 实现（如 XGBoost），LightGBM 在相同精度下训练速度通常快 5-10 倍，内存占用减少 60% 以上，特别适合处理大规模高维数据。
1.2 A/B 测试在模型评估中的重要性
在机器学习模型上线前，仅凭离线指标（如 AUC、LogLoss）评估模型风险极高。离线指标无法捕捉以下关键问题：
- 数据分布漂移： 训练集与线上真实数据分布可能存在差异。
- 业务指标偏差： 离线优化目标（如分类准确率）与业务核心指标（如用户留存率、转化率）不完全对齐。
- 系统交互效应： 新模型可能与推荐系统、缓存策略等产生非预期交互。
A/B 测试通过将线上流量随机分为实验组（新模型）和对照组（旧模型/基线），在真实业务场景下对比关键指标，为模型上线提供统计显著性依据。
常见误区： 很多团队仅凭离线 AUC 提升 0.5% 就决定上线模型，结果线上核心指标反而下降。A/B 测试是连接离线实验与线上效果的“最后一道安全阀”。
1.3 离线评估 vs 在线 A/B 测试对比
| 对比维度 | 离线评估 | 在线 A/B 测试 |
|---|---|---|
| 数据来源 | 历史标注数据集 | 实时线上流量 |
| 评估指标 | AUC、LogLoss、F1-Score | CTR、转化率、用户停留时长、收入 |
| 环境真实性 | 静态、无系统交互 | 动态、包含真实用户行为与系统反馈 |
| 统计显著性 | 通常不涉及 | 必须通过假设检验（p-value、置信区间） |
| 风险等级 | 低（不影响线上用户） | 中高（可能影响用户体验） |
1.4 LightGBM 模型 A/B 测试流程概览
本课程将围绕以下标准化流程展开，确保从模型训练到线上验证的每个环节都有据可依：
- 离线训练与调优： 使用 LightGBM 训练基线模型与实验模型，完成超参数搜索。
- 离线评估与对比： 在固定测试集上计算 AUC、KS、Lift 等指标，筛选候选模型。
- 实验设计： 确定分流策略（用户 ID 哈希/分层抽样）、最小样本量、实验时长。
- 线上部署与分流： 将模型封装为 API，配置流量切分比例（如 50% 对照组 / 50% 实验组）。
- 数据采集与指标计算： 收集实验组与对照组的埋点数据，计算核心业务指标。
- 统计检验与决策： 使用 t 检验或 Z 检验判断差异是否显著，决定上线/回滚/继续实验。
1.5 本课程学习目标
完成本课程后，你将能够：
- 独立使用 LightGBM 完成从数据预处理到模型训练的完整流程。
- 设计并实施严谨的 A/B 测试方案，包括样本量计算、分流策略与实验时长确定。
- 掌握统计检验方法（t 检验、Z 检验、Mann-Whitney U 检验）在模型对比中的应用。
- 构建自动化 A/B 测试报告，包含置信区间、效应量、统计功效等关键输出。
- 避免常见的 A/B 测试陷阱（如多重比较问题、新奇效应、样本量不足）。
1.6 前置知识要求
| 知识领域 | 具体要求 | 推荐复习资源 |
|---|---|---|
| Python 编程 | 熟悉 pandas、numpy、sklearn 基础操作 | Python 官方教程 / Kaggle 微课程 |
| 机器学习基础 | 理解决策树、集成学习、过拟合与正则化 | 《统计学习方法》李航 / Coursera ML 课程 |
| 概率统计 | 掌握假设检验、置信区间、p-value 概念 | 《概率论与数理统计》浙大版 / Khan Academy |
| LightGBM 基础 | 了解基本 API 调用与参数含义（非必须） | LightGBM 官方文档 / 本课程第 2 章快速入门 |
学习建议： 如果对假设检验部分感到生疏，建议先花 1-2 小时复习 t 检验与 p-value 的计算逻辑。本课程第 5-7 章会从零开始讲解统计检验在 A/B 测试中的具体应用，但基础概念越扎实，后续理解越顺畅。
1.7 课程章节结构
本课程共分为 30 章，按以下模块组织：
- 基础篇（第 1-8 章）： LightGBM 核心原理、参数详解、特征工程与离线评估。
- 实验设计篇（第 9-15 章）： A/B 测试统计基础、样本量计算、分流策略与实验平台搭建。
- 实战篇（第 16-24 章）： 从离线训练到线上部署全流程实战，包含代码实现与案例分析。
- 进阶篇（第 25-30 章）： 多臂老虎机、方差缩减、长期效应评估与实验平台自动化。
现在，让我们从第 2 章开始，正式进入 LightGBM 的快速入门之旅。