VIP20
本课程属于：083-风控规则引擎PSI漂移告警 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kafka流处理PSI漂移告警实践

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
PSI漂移概念 · 为什么需要实时告警 · Kafka在其中的角色
课程导论PSI
02
PSI指标详解
群体稳定性指标定义 · 计算公式 · 业务含义
PSI指标详解
03
PSI阈值设定
常见阈值范围 · 分箱策略对PSI的影响 · 业务场景适配
PSI阈值设定
04
Kafka核心概念回顾
Topic · Partition · Consumer Group
Kafka核心概念回顾
05
Kafka Streams简介
流处理拓扑 · Processor API与DSL对…
KafkaStreams
06
环境准备
Kafka集群搭建 · ZooKeeper配置 · 客户端依赖引入
环境准备Kafka
07
数据源设计
模拟特征数据生成器 · Schema定义 · 序列化方式选择
数据源设计模拟特征数据生成…
08
参考分布构建
离线训练阶段如何计算并存储参考分布到…
参考分布构建离线训练阶段如何…
09
实时分布计算
滑动窗口内统计当前批次特征分布
实时分布计算滑动窗口内统计当…
10
PSI计算逻辑实现
基于分箱的PSI算法代码实现
PSI计算逻辑实现
11
状态存储使用
Kafka Streams Stat…
状态存储使用Kafka
12
窗口操作详解
Tumbling Window与Sl…
窗口操作详解Tumbling
13
告警阈值判断
比较实时PSI与预设阈值 · 触发告警事件
告警阈值判断PSI
14
告警消息格式化
告警级别 · 特征名称 · PSI值
告警消息格式化告警级别
15
告警输出Sink
将告警写入告警Topic · 同时持久化到数据库
Sink告警输出
16
多特征并行处理
使用分支或KTable处理多个特征的…
多特征并行处理KTable
17
性能优化
分区数调优 · 缓存大小 · 线程数配置
性能优化分区数调优
18
容错与Exactly-Once语义
保证PSI计算不丢不重
Exactly-Once容错
19
监控与可视化
Prometheus + Grafa…
监控可视化
20
单元测试
使用TopologyTestDriv…
单元测试TopologyTest…
21
集成测试
部署到测试Kafka集群验证端到端流…
集成测试Kafka
22
告警降噪策略
连续告警抑制 · 静默期 · 聚合告警
告警降噪策略连续告警抑制
23
回滚与补偿
当PSI漂移恢复后自动清除告警状态
回滚补偿
24
多模型场景
同时监控多个机器学习模型的输入特征P…
多模型场景同时监控多个机器…
25
与模型监控平台集成
将告警推送至MLflow或自定义Da…
模型监控平台集成MLflow
26
生产部署
Docker容器化 · Kubernetes编排 · 配置管理
生产部署Docker
27
日志与审计
记录每次PSI计算日志 · 告警触发日志
日志审计
28
常见问题排查
PSI计算异常 · 数据倾斜 · 延迟过高
常见问题排查PSI
29
案例实战
信贷风控模型特征PSI漂移告警全流程
案例实战PSI
30
课程总结与展望
PSI漂移告警的未来趋势 · 联邦学习场景扩展
课程总结PSI