VIP20
本课程属于：084-模型可解释性阈值漂移巡查 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Spark结构化流模型漂移监控案例

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
什么是模型漂移 · 为什么在流式场景下监控漂移至关重要 · 课程目标与前置知识
课程导论什么是模型漂移
02
Spark结构化流基础回顾
DataStreamReader · DataStreamWriter · Trigger
Spark结构化流基础回顾
03
流式机器学习管道概述
离线训练 vs 在线推理 · 流式推理架构 · 模型版本管理
流式机器学习管道…vs
04
模型漂移类型详解
数据漂移(Data Drift) · 概念漂移(Concept Drift… · 上游漂移(Upstream Drif…
模型漂移类型详解Data
05
数据漂移检测原理
统计检验方法（KS检验 · PSI · Jensen-Shannon散度）
数据漂移检测原理KS
06
概念漂移检测原理
错误率监控 · ADWIN算法 · DDM算法
概念漂移检测原理错误率监控
07
Spark结构化流中的监控架构
流式ETL + 监控Sink + 告…
Spark结构化流
08
环境搭建与依赖配置
Spark版本选择 · Maven/SBT依赖 · Kafka/Pulsar连接器配置
环境搭建依赖配置
09
模拟流式数据源
使用RateSource生成时间序列 · 模拟特征分布偏移的Python脚本
模拟流式数据源RateSource
10
构建基线特征分布
使用批处理作业计算训练集特征统计量（… · 方差 · 分位数）
构建基线特征分布使用批处理作业计…
11
实现流式特征统计
使用groupBy与window计算…
实现流式特征统计groupBy
12
KS检验在Spark中的实现
使用UDF封装scipy.stats… · 逐特征计算p值
KSSpark
13
PSI（群体稳定性指标）计算
PSI公式推导 · 在Spark DataFrame中逐…
PSI群体稳定性指标
14
实时漂移评分引擎
将KS/PSI结果封装为DataFr… · 输出漂移分数与阈值比较
实时漂移评分引擎KS/PSI
15
概念漂移监控
流式预测结果收集 · 滑动窗口错误率计算 · ADWIN算法UDF实现
概念漂移监控流式预测结果收集
16
告警机制设计
基于阈值的告警 · 基于趋势的告警 · 使用StreamingQueryLi…
告警机制设计基于阈值的告警
17
持久化监控指标
将漂移指标写入InfluxDB/Pr… · 使用JDBC写入MySQL
持久化监控指标InfluxDB/Pr
18
可视化监控看板
使用Grafana连接InfluxD… · 配置漂移分数仪表盘
可视化监控看板Grafana
19
模型重训练触发策略
基于漂移严重程度自动触发重训练Pip… · 使用Delta Lake存储版本
模型重训练触发策…Pip
20
端到端案例
信用卡欺诈检测模型漂移监控（数据漂移…
端到端案例信用卡欺诈检测模…
21
端到端案例
推荐系统实时特征漂移监控（用户画像分…
端到端案例推荐系统实时特征…
22
性能优化
微批处理调优 · 状态管理优化 · 避免数据倾斜
性能优化微批处理调优
23
容错与Exactly-Once语义
Checkpoint机制在监控作业中… · 幂等性写入
Exactly-Once容错
24
多模型监控
使用模型注册表（MLflow）管理多… · 动态加载监控配置
多模型监控MLflow
25
A/B测试与漂移监控
同时监控新旧模型版本 · 对比漂移曲线
A/B测试
26
安全与权限
监控作业的ACL控制 · 敏感特征脱敏
安全权限
27
集成CI/CD
将漂移监控作业纳入GitOps · 自动化部署与回滚
CI/CD集成
28
生产环境最佳实践
日志聚合 · 资源监控 · 告警静默期
生产环境最佳实践日志聚合
29
常见问题排查
延迟过高 · 状态膨胀 · 漂移误报
常见问题排查延迟过高
30
课程总结与展望
MLOps趋势 · Flink vs Spark对比 · 未来研究方向
课程总结MLOps