1. 课程导论：为什么需要数据质量回放验证

1.1 从模型离线指标到线上推理的“最后一公里”断裂

在典型的 XGBoost 模型开发流程中，工程师通常使用离线历史数据训练模型，并在测试集上获得满意的 AUC、LogLoss 等指标。然而，当模型部署到生产环境后，经常出现以下现象：

• 离线 AUC 0.85，线上业务指标下降 5%：训练与推理时的特征分布发生偏移。
• 特征缺失率突然飙升：上游数仓表结构变更，导致模型输入特征全部为 NULL。
• 模型输出概率集中在 0.5 附近：特征工程逻辑与离线代码不一致，如分箱边界错位。
• 线上推理延迟从 10ms 暴涨至 500ms：特征拼接逻辑中出现了笛卡尔积。

这些问题的根源在于：离线训练环境与线上推理环境之间存在数据质量鸿沟。传统的模型验证只关注“模型本身”的指标，而忽略了“输入数据”的合规性。数据质量回放验证正是为了填补这一断裂而设计的系统性方法。

1.2 数据质量回放验证的定义与价值

数据质量回放验证是指在模型上线前，使用生产环境的历史流量数据（或模拟的真实请求），对模型推理链路进行全流程的数据质量校验。它不同于离线训练时的数据探索，也不同于上线后的实时监控，而是位于两者之间的“预生产验证”环节。

回放验证的核心价值体现在三个维度：

1. 提前暴露数据断裂：在影响线上用户之前，发现特征缺失、类型错误、值域越界等问题。
2. 量化数据质量对模型输出的影响：通过对比“干净数据”与“回放数据”的模型输出分布，评估数据质量风险。
3. 建立上线准入基线：将数据质量指标（如特征完备率、分布相似度）纳入模型上线门禁。

1.3 回放验证在 MLOps 中的位置

在 MLOps 的成熟度模型中，数据质量回放验证属于 “模型验证与测试” 阶段的关键环节。它连接了“模型开发”与“模型部署”两个阶段，是 CI/CD 流水线在机器学习领域的自然延伸——即 CT（Continuous Training） 与 CD（Continuous Deployment） 之间的质量门禁。

以下表格展示了回放验证在 MLOps 核心流水线中的具体位置：

1.4 课程目标与受众

课程目标

完成本课程后，学员将能够：

• 掌握数据质量回放验证的完整方法论：从数据采集、特征对齐、分布校验到输出评估的全流程设计。
• 构建可落地的回放验证流水线：基于 Python、XGBoost 及生产环境工具，实现自动化数据质量门禁。
• 识别并解决 10+ 种常见数据质量缺陷：包括特征缺失、类型错位、分布偏移、延迟异常等。
• 制定上线准入标准与量化指标：为团队建立可度量、可复现的数据质量基线。
• 将回放验证集成到现有 MLOps 体系：与 CI/CD、模型注册、监控告警系统无缝对接。

目标受众