1. 课程导论：什么是模型漂移、为什么在流式场景下监控漂移至关重要、课程目标与前置知识

1.1 什么是模型漂移

模型漂移（Model Drift）是指已部署的机器学习模型在生产环境中的预测性能随时间推移而下降的现象。这种性能退化通常源于数据分布的根本性变化，而非模型本身的结构缺陷。在流式数据处理场景中，数据源源不断地流入，数据分布的变化更加频繁且难以预测，使得模型漂移成为影响业务决策准确性的核心挑战。

模型漂移主要分为以下三种类型：

1.2 流式场景下监控漂移的紧迫性

与传统的批量推理模式不同，流式场景对模型漂移的容忍度极低。以下是流式场景下监控漂移至关重要的四个核心原因：

1. 实时决策风险： 流式模型通常直接驱动在线交易、实时推荐、风控拦截等关键业务。模型性能一旦下降，错误决策会立即影响用户体验和业务收益。
2. 数据分布快速演化： 流式数据具有时效性和非平稳性，数据分布可能在数分钟或数小时内发生显著变化，传统周级或天级监控无法及时响应。
3. 反馈延迟与标签稀疏： 许多流式场景（如信贷审批）的真实标签需要数周甚至数月才能获取，无法依赖传统标签驱动型监控，必须采用无标签或弱标签的漂移检测方法。
4. 资源与成本约束： 流式系统通常运行在有限的计算资源上，频繁的全量重训练不现实，需要精准定位漂移发生的时间点和特征维度，实现按需触发增量训练。

1.3 课程目标

本课程旨在帮助学员掌握在 Apache Spark 结构化流框架下构建端到端模型漂移监控系统的实战能力。完成本课程后，学员将能够：

• 理解漂移检测原理： 掌握统计检验（KS 检验、PSI）、距离度量（Wasserstein 距离）和分布对比（MMD）等核心漂移检测算法。
• 构建流式监控管道： 使用 Spark Structured Streaming 实现实时特征分布统计、滑动窗口漂移计算和告警触发。
• 集成 MLOps 工具链： 将漂移监控与模型注册表（MLflow）、告警系统（Prometheus + Alertmanager）和自动化重训练流程打通。
• 优化性能与成本： 掌握近似计算、采样策略和增量统计等优化技术，在保证检测精度的同时降低流式计算开销。
• 落地生产级方案： 通过完整案例，从数据采集、漂移检测、告警通知到模型回滚，构建可复用的监控框架。

1.4 前置知识

为获得最佳学习体验，建议学员具备以下基础：

1.5 课程案例概览

本课程将围绕一个完整的端到端案例展开：实时信贷审批模型漂移监控系统。案例背景如下：

• 业务场景： 某金融科技公司部署了基于 Spark ML 的信贷审批模型，每天处理数百万条实时申请。
• 监控目标： 实时检测模型在收入分布、年龄分布、负债率等关键特征上的漂移，并在模型性能下降前触发告警。
• 技术栈： Spark Structured Streaming + Kafka + MLflow + Prometheus + Alertmanager。
• 数据流： 实时申请数据 → Kafka → Spark Streaming 漂移检测 → 告警系统 → 自动化重训练管道。

1.6 课程结构

本课程共分为 30 章，按以下模块组织：