VIP20

本课程属于：084-模型可解释性阈值漂移巡查 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Spark实时计算模型漂移巡查资料

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

模型漂移概述

什么是模型漂移 · 漂移的类型（概念漂移 · 数据漂移

模型漂移概述什么是模型漂移

实时监控架构

Lambda架构与Kappa架构对比 · 实时漂移检测在流处理中的位置 · 整体技术栈选型（Spark Stre…

实时监控架构Lambda

Spark Streaming基础回顾

DStream与Structured… · 微批次处理原理 · 窗口操作与状态管理

Kafka集成与数据接入

Kafka生产者消费者配置 · Spark读取Kafka流 · Schema Registry与Av…

特征分布漂移检测（一）

统计检验方法——KS检验 · 卡方检验 · JS散度

特征分布漂移检测KS

特征分布漂移检测（二）

基于滑动窗口的实时分布统计 · 使用近似算法（TDigest · HyperLogLog）降低计算开销

特征分布漂移检测基于滑动窗口的实…

模型预测漂移检测

预测置信度监控 · 预测类别分布变化 · 残差分析

模型预测漂移检测预测置信度监控

实时漂移指标计算引擎

使用Spark的agg与自定义聚合函… · 性能优化技巧

实时漂移指标计算…Spark

告警阈值与策略设计

静态阈值 vs 动态阈值 · 基于统计过程控制（SPC）的告警 · 多级告警策略

告警阈值策略设计

告警通知与事件总线

集成Prometheus Alert… · Webhook回调 · 将告警事件写入Kafka供下游消费

告警通知事件总线

模型版本管理与回滚

MLflow模型注册表集成 · 自动回滚触发器 · A/B测试与金丝雀发布中的漂移检测

模型版本管理回滚

实时特征存储（Feature Store）

Feast/Rockset与Spar… · 特征新鲜度监控 · 特征漂移与模型漂移的关联分析

数据质量监控

Schema校验 · 空值率 · 异常值检测

数据质量监控Schema

多模型并行监控

模型分组与标签管理 · 动态注册新模型 · 监控任务的资源隔离与调度

多模型并行监控模型分组

可视化与仪表盘

Grafana实时展示漂移指标 · 自定义Spark Streaming… · 历史趋势分析

可视化仪表盘

案例实战（一）

信贷风控模型——实时监控特征分布漂移…

案例实战信贷风控模型

案例实战（二）

推荐系统模型——实时监控用户行为分布…

案例实战推荐系统模型

案例实战（三）

NLP文本分类模型——实时监控词频分…

案例实战NLP

Spark Streaming背压机… · Kafka分区与Spark分区对齐 · 内存与GC调优

性能调优Spark

容错与Exactly-Once

Checkpoint机制 · WAL（预写日志） · 幂等输出与事务性写入

Exactly-Once容错

与MLOps平台集成

Kubeflow · Airflow调度监控Pipelin… · 模型漂移检测作为CI/CD门禁

MLOps平台集成

联邦学习场景下的漂移检测

数据异构性导致的漂移 · Spark与FATE集成 · 隐私保护下的分布统计

联邦学习场景下的…数据异构性导致的…

时间序列模型漂移检测

季节性分解 · 残差监控 · Change Point Detec…

时间序列模型漂移…季节性分解

深度学习模型漂移

Embedding分布监控 · 激活值统计 · 梯度监控

深度学习模型漂移Embedding

Spot实例与弹性伸缩 · Mini-batch大小自适应 · 冷热数据分离存储

成本优化Spot

安全与权限控制

Kerberos认证 · 数据脱敏 · 审计日志

安全权限控制

测试与模拟

漂移数据生成器 · 混沌工程注入漂移 · 单元测试与集成测试框架

生产部署最佳实践

Docker化 · Kubernetes部署 · 配置中心（Apollo/Nacos）

生产部署最佳实践Docker

监控系统自身监控

Spark Streaming作业延… · Kafka Lag监控 · 告警风暴抑制

监控系统自身监控Spark

未来趋势与总结

AutoML与自适应模型更新 · 边缘端漂移检测 · 课程总结与进阶学习路径

未来趋势AutoML