VIP20
本课程属于：084-模型可解释性阈值漂移巡查 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Spark ML模型漂移监控与告警实践

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
模型漂移的定义 · 为什么需要监控 · Spark ML在监控中的优势
课程导论模型漂移的定义
02
模型漂移分类
数据漂移(Data Drift) · 概念漂移(Concept Drift… · 模型退化(Model Decay)的…
模型漂移分类Data
03
数据漂移检测基础
统计检验方法（KS检验 · 卡方检验 · JS散度）在Spark中的实现原理
数据漂移检测基础KS
04
概念漂移检测基础
ADWIN · DDM · Page-Hinkley算法原理及适…
概念漂移检测基础ADWIN
05
Spark ML Pipeline回顾
Pipeline · Transformer · Estimator
SparkML
06
特征漂移监控
数值特征分布对比（均值/方差/分位数… · 类别特征频率对比（PSI指标）
特征漂移监控数值特征分布对比
07
标签漂移监控
真实标签分布与训练标签分布的对比 · 标签缺失率监控
标签漂移监控真实标签分布
08
预测漂移监控
模型输出概率分布变化 · 预测类别分布变化 · 置信度变化
预测漂移监控模型输出概率分布…
09
Spark Streaming集成
使用Structured Strea…
SparkStreaming
10
离线批处理监控
使用Spark Batch定期（每日…
离线批处理监控Spark
11
监控指标计算引擎
使用Spark UDAF自定义聚合函… · KL散度 · 人口稳定性指数
监控指标计算引擎Spark
12
基线管理
训练数据基线统计量的存储（Parqu… · 版本管理与回滚
基线管理Parqu
13
告警阈值设定
基于统计显著性（p值） · 业务容忍度 · 动态阈值（移动平均+标准差）的策略
告警阈值设定基于统计显著性
14
告警通道集成
通过Spark写入告警事件到Elas… · 触发邮件/钉钉/企业微信/Webho…
告警通道集成Spark
15
监控仪表盘
使用Elasticsearch +… · 告警历史
监控仪表盘Elasticsearc…
16
案例实战1
信贷风控模型——特征PSI漂移监控与…
案例实战1PSI
17
案例实战2
推荐系统CTR模型——实时概念漂移检…
案例实战2CTR
18
案例实战3
NLP文本分类模型——词频分布漂移与…
案例实战3NLP
19
Spark ML模型注册与版本管理
使用MLflow Model Reg… · 关联监控基线
SparkML
20
自动化漂移检测Pipeline
构建端到端Spark Job · 从数据读取 · 统计计算
Pipeline自动化漂移检测
21
多模型监控架构
在单个Spark集群中并行监控多个模… · 资源隔离与优先级调度
多模型监控架构Spark
22
数据质量与漂移联动
缺失值率 · 异常值率 · 重复率监控与漂移检测的协同
数据质量漂移联动
23
模型性能退化监控
结合离线评估（AUC/LogLoss…
模型性能退化监控AUC/LogLoss
24
Spark监控性能优化
使用Broadcast变量广播基线 · 避免Shuffle · 使用Delta Cache加速重复查…
Spark监控性能优化
25
异常检测与漂移的区分
使用孤立森林（Isolation F… · 避免误告警
异常检测漂移的区分
26
模型漂移根因分析
通过特征重要性（SHAP/PFI）定…
模型漂移根因分析SHAP/PFI
27
告警抑制与降噪
重复告警合并 · 告警升级策略 · 静默期设置
告警抑制降噪
28
监控系统高可用
Spark Structured S… · Exactly-Once语义保障
监控系统高可用Spark
29
MLOps集成
将漂移监控纳入CI/CD Pipel… · 触发模型重训练与自动部署
MLOps集成
30
课程总结与最佳实践
常见陷阱 · 监控频率选择 · 团队协作规范
课程总结最佳实践