4. 在线推理架构总览：离线训练与在线推理的差异、在线推理链路核心组件、延迟与吞吐量要求

将离线训练好的 LightGBM 模型部署到在线推理环境，并非简单的“模型文件复制+API 封装”。在线推理链路需要重新设计架构，以应对实时请求、资源约束和稳定性要求。本章从离线与在线的根本差异出发，拆解推理链路的四个核心组件，并明确延迟与吞吐量的量化指标。

4.1 离线训练与在线推理的差异

离线训练追求模型精度与迭代效率，在线推理追求响应速度与资源效率。下表从六个关键维度对比两者的设计目标与约束：

4.2 在线推理链路核心组件

一条完整的 LightGBM 在线推理链路由四个核心组件串联而成：特征工程 → 模型加载 → 推理引擎 → 后处理。每个组件都有独立的优化目标和常见陷阱。

4.2.1 特征工程（在线版）

在线特征工程与离线批处理的最大区别在于：特征必须在请求到达时实时计算。常见做法包括：

• 预计算特征：将离线产出的统计特征（如用户近7天点击率）写入 KV 存储（Redis / Aerospike），推理时按 key 读取。
• 实时特征：基于 Flink / Spark Streaming 计算滑动窗口特征，写入在线特征库。
• 请求参数特征：直接从 HTTP 请求体中提取，如商品 ID、用户 ID。
• 特征转换：LabelEncoder、OneHot、分桶等操作需预编译为轻量级映射表，避免运行时加载大字典。

4.2.2 模型加载

LightGBM 模型加载涉及序列化格式、热更新策略和版本管理：

• 序列化格式：推荐使用 .txt 或 .pkl 格式。LightGBM 原生 save_model() 输出的文本格式可直接被 lgb.Booster(model_file=...) 加载。
• 热加载：通过文件监听或配置中心（如 Apollo / Nacos）触发模型重载，避免重启服务。
• 版本管理：模型文件命名包含版本号（如 model_v3_20250101.txt），推理服务启动时加载指定版本，支持一键回滚。
• 预热：新模型上线前，使用少量历史请求进行预热推理，确保 JIT 编译和缓存就绪。

# 模型加载示例（Python）
import lightgbm as lgb

model_path = "/models/lightgbm/click_rate_v3.txt"
booster = lgb.Booster(model_file=model_path)

# 预热：传入一条 dummy 特征
dummy_features = [[0.5, 0.3, 1, 0, 0.8]]
booster.predict(dummy_features)
print("模型预热完成")

4.2.3 推理引擎

推理引擎是链路的计算核心，负责将特征矩阵送入 LightGBM Booster 并输出原始分数。关键优化点包括：

• 批量推理：将多个请求的特征合并为 batch，利用 LightGBM 的向量化计算提升吞吐。
• 线程安全：LightGBM 的 predict() 方法在 CPython 中受 GIL 限制，建议使用多进程或 C++ 封装的服务。
• 模型剪枝：在线场景可移除树模型中贡献度极低的叶子节点，减少计算量。
• ONNX 转换：将 LightGBM 模型转为 ONNX 格式，利用 ONNX Runtime 获得跨平台加速。

4.2.4 后处理

模型输出的原始分数（如 logit）需要转换为业务可用的结果：

• 概率转换：二分类任务使用 sigmoid 函数将 logit 映射到 [0,1]。
• 阈值过滤：根据业务场景设定阈值（如 0.5），输出最终标签。
• 排序与截断：推荐场景下，对多个候选物品的分数排序，取 Top-K 返回。
• 结果格式化：将模型输出包装为 JSON / Protobuf 响应，包含分数、标签、置信度等字段。

4.3 在线推理链路架构图

下图展示了从客户端请求到最终响应的完整链路，包含四个核心组件及其数据流关系：

4.4 延迟与吞吐量要求

在线推理服务的性能目标通常用延迟和吞吐量两个指标衡量。不同业务场景的容忍度差异巨大：

4.5 延迟与吞吐量的权衡

延迟和吞吐量并非独立指标，它们之间存在经典权衡：

• 批量大小：增大 batch size 可提升吞吐，但会增加单个请求的排队延迟。推荐在 P99 延迟预算内最大化 batch size。
• 并发数：增加工作进程数可提升吞吐，但会加剧 CPU 缓存争用和上下文切换。
• 模型复杂度：减少树的数量或最大深度可降低延迟，但可能牺牲精度。在线场景建议使用 早停剪枝 后的轻量模型。
• 资源预留：为应对流量尖峰，建议预留 30%~50% 的 CPU/内存余量，避免 GC 或 OOM 导致延迟抖动。

下图展示了延迟与吞吐量的关系，以及不同优化手段的作用区域：