1. 课程导论：LightGBM 简介、实时推理概念、课程目标与前置知识
1.1 为什么需要 LightGBM 实时推理？
在工业级机器学习落地场景中，模型训练只是第一步。真正的挑战在于：如何将训练好的 LightGBM 模型以毫秒级延迟、高并发、高可用的方式部署到生产环境，服务于在线流量。本课程聚焦于从“训练完成”到“在线服务”的完整链路，解决传统离线预测无法满足实时业务需求的痛点。
核心矛盾： 离线批量预测（Batch Inference）延迟高、资源利用率低，无法支撑广告推荐、风控反欺诈、实时定价等场景。实时推理链路要求模型响应时间 < 50ms，QPS > 1000。
1.2 LightGBM 核心特性速览
LightGBM 是微软开源的梯度提升决策树（GBDT）框架，在工业界广泛使用。下表对比了它与传统 GBDT 实现的关键差异：
| 特性 | LightGBM | 传统 GBDT（如 XGBoost） |
|---|---|---|
| 树生长策略 | Leaf-wise（按叶子分裂） | Level-wise（按层分裂） |
| 分裂点采样 | GOSS（梯度单边采样） | 预排序 + 精确贪心 |
| 特征合并 | EFB（互斥特征捆绑） | 无 |
| 并行方式 | 数据并行 + 特征并行 + 投票并行 | 数据并行 |
| 推理速度 | 快（原生 C++ 实现，模型体积小） | 较快 |
LightGBM 的 Leaf-wise 生长策略在相同迭代次数下能获得更低损失，但容易过拟合，需要配合 max_depth 和 num_leaves 参数控制。其原生支持 类别特征 和 缺失值处理，减少了特征工程工作量。
1.3 实时推理链路架构总览
一条完整的实时推理链路通常包含以下组件，本课程将逐一实现：
- 模型导出与序列化：将训练好的 LightGBM Booster 转换为可移植格式（如
.txt、.pkl或 ONNX）。 - 特征服务：在线实时计算特征，包括特征存储（Redis/MySQL）、特征变换逻辑。
- 推理引擎：加载模型并提供 REST/gRPC 接口，通常使用 Flask/FastAPI + LightGBM 原生库。
- 负载均衡与弹性伸缩：使用 Nginx/Kubernetes 管理多副本。
- 监控与告警：采集延迟、QPS、模型预测分布等指标。
1.4 课程目标与学习路径
完成本课程后，你将能够：
- 独立搭建 一套基于 LightGBM 的实时推理服务，支持 RESTful API 调用。
- 掌握 模型序列化、特征工程在线化、服务容器化部署等关键技能。
- 理解 推理链路的性能瓶颈，并能够进行针对性优化（如模型剪枝、特征缓存）。
- 具备 生产级 MLOps 思维，包括版本管理、A/B 测试、监控告警。
1.5 前置知识清单
为了顺利学习本课程，建议你具备以下基础：
| 领域 | 具体要求 | 推荐学习资源 |
|---|---|---|
| Python 编程 | 熟悉 Pandas、NumPy，能编写 Flask/FastAPI 应用 | 官方文档 + 实战项目 |
| 机器学习基础 | 理解决策树、集成学习、GBDT 原理 | 《统计学习方法》李航 |
| LightGBM 使用 | 能完成基本训练、调参、特征重要性分析 | LightGBM 官方 GitHub 示例 |
| Docker 基础 | 会编写 Dockerfile，理解容器化部署概念 | Docker 入门教程 |
| Linux 命令行 | 常用文件操作、进程管理、网络调试 | 《鸟哥的 Linux 私房菜》 |
学习建议： 如果你对 LightGBM 训练还不熟悉，建议先花 1-2 天完成官方教程中的分类/回归示例。本课程第 2-3 章会快速回顾模型训练与导出，但不会从头讲解 GBDT 原理。
1.6 课程章节地图
本课程共 30 章，分为 5 个模块：
- 模块一（第 1-5 章）：基础准备与模型导出
- 模块二（第 6-12 章）：特征服务与在线计算
- 模块三（第 13-20 章）：推理引擎开发与优化
- 模块四（第 21-26 章）：容器化部署与弹性伸缩
- 模块五（第 27-30 章）：监控、A/B 测试与生产最佳实践
注意： 模块五（监控与生产最佳实践）虽然放在最后，但建议你在学习模块三时就同步搭建基础的日志和指标采集，避免上线前突击。
1.7 环境准备快速检查
在开始第 2 章之前，请确保你的开发环境满足以下条件：
# 检查 Python 版本（推荐 3.8+）
python --version
# 安装 LightGBM（CPU 版本）
pip install lightgbm
# 安装 FastAPI 和 Uvicorn（用于构建推理服务）
pip install fastapi uvicorn
# 安装 Docker（用于容器化部署）
docker --version
# 验证 LightGBM 是否可用
python -c "import lightgbm as lgb; print(lgb.__version__)"