1. 课程导论：XGBoost Serving 数据质量保障实战指南
1.1 为什么 Serving 阶段的数据质量至关重要？
在机器学习生产链路中，模型训练阶段的数据质量已得到广泛关注，但 Serving（在线推理）阶段的数据质量 往往被忽视。XGBoost 模型上线后，其推理结果直接服务于业务决策，一旦输入数据出现偏差，将导致预测失真、业务损失甚至系统故障。
核心观点： 训练数据决定模型上限，Serving 数据质量决定模型实际表现的下限。一个在离线评测中 AUC=0.95 的模型，若 Serving 数据存在特征漂移或缺失，线上 AUC 可能骤降至 0.60 以下。
Serving 数据质量的重要性体现在三个层面：
| 层面 | 影响描述 | 典型后果 |
|---|---|---|
| 业务决策 | 模型输出直接驱动风控、推荐、定价等核心业务 | 误判、拒真、资损、用户体验下降 |
| 模型性能 | 特征分布偏移导致模型泛化能力急剧退化 | 预测偏差、置信度失真、AUC/LogLoss 恶化 |
| 系统稳定性 | 异常数据引发推理服务崩溃或资源耗尽 | 超时、OOM、服务雪崩、SLA 违约 |
1.2 常见数据质量问题概览
XGBoost Serving 场景下，数据质量问题可归纳为以下六大类。每类问题在推理管道中的表现和危害各不相同。
- 特征缺失（Missing Values）：上游特征源未产出、传输延迟或字段被删除，导致模型输入出现 NaN 或默认填充值。
- 特征漂移（Feature Drift）：数据分布随时间发生统计意义上的变化，包括均值、方差、分位数偏移。
- 特征类型/格式错误（Type/Format Mismatch）：数值特征被传入字符串、类别特征出现训练时未见过的类别、时间戳格式不一致。
- 特征范围异常（Out-of-Range）：特征值超出训练集合理边界，如年龄为 -1、收入为 10^9 等极端值。
- 特征逻辑冲突（Logical Inconsistency）：特征间违反业务约束，如“已婚”但“年龄=5岁”、“下单时间 > 发货时间”。
- 数据延迟与乱序（Latency & Out-of-Order）：实时特征到达时间晚于推理时间，或事件时间戳乱序导致特征拼接错误。
实战经验： 在金融风控场景中，特征缺失和特征漂移是出现频率最高的两类问题，合计占 Serving 数据质量事故的 70% 以上。
1.3 课程目标与学习路径
本课程旨在帮助学员系统掌握 XGBoost 模型在 Serving 阶段的数据质量保障方法，从理论到实战，构建完整的质量保障体系。
课程核心目标
- 目标一： 理解 Serving 数据质量问题的根因与影响，建立质量意识。
- 目标二： 掌握特征缺失、漂移、格式错误等常见问题的检测与修复技术。
- 目标三： 学会搭建 Serving 数据质量监控与告警系统，实现自动化保障。
- 目标四： 能够设计数据质量测试用例，在 CI/CD 流程中嵌入质量门禁。
- 目标五： 通过真实案例复盘，具备独立排查和解决线上数据质量事故的能力。
学习路径与章节地图
课程共 30 章，分为四大模块，建议按顺序学习：
| 模块 | 章节范围 | 核心内容 | 学习建议 |
|---|---|---|---|
| 基础篇 | 第 1-6 章 | 数据质量概念、XGBoost 特征工程、Serving 架构 | 打好理论基础，理解全貌 |
| 检测篇 | 第 7-14 章 | 缺失检测、漂移检测、异常检测、逻辑校验 | 重点掌握检测算法与工具 |
| 修复与保障篇 | 第 15-24 章 | 数据修复策略、监控告警、质量门禁、回滚机制 | 动手实践，搭建完整链路 |
| 实战与案例篇 | 第 25-30 章 | 金融风控、推荐系统、广告 CTR 等真实案例复盘 | 结合业务场景，举一反三 |
⚠ 前置要求： 学员需具备 XGBoost 模型训练与部署的基础知识，熟悉 Python 编程，了解基本的特征工程概念。本课程不涉及 XGBoost 训练调参细节，聚焦 Serving 阶段的数据质量保障。