VIP20
本课程属于：083-风控规则引擎PSI漂移告警 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kafka实时监控PSI漂移告警教程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
PSI漂移概念 · 实时监控的重要性 · Kafka在监控中的角色
课程导论PSI
02
Kafka基础回顾
Kafka核心概念（Topic · Partition · Broker
Kafka基础回顾
03
Kafka集群搭建
单机与集群模式部署 · ZooKeeper/KRaft配置要…
Kafka集群搭建
04
PSI指标详解
PSI（Population Sta… · 计算公式 · 业务含义
PSI指标详解
05
PSI漂移阈值设定
常见阈值范围（0.1 · 不同业务场景下的阈值选择策略
PSI漂移阈值设定
06
数据采集架构设计
从业务数据库到Kafka的实时数据管…
数据采集架构设计Kafka
07
Kafka Producer实现
使用Java/Python Prod…
KafkaProducer
08
Kafka Consumer实现
实时消费数据流 · 解析JSON/AVRO格式特征数据
KafkaConsumer
09
PSI计算引擎设计
滑动窗口机制 · 分箱（Binning）策略 · 期望分布与实际分布对比
PSI计算引擎设计
10
实时PSI计算实现
基于Flink/Spark Stre…
PSI实时
11
Kafka Streams实现PSI
使用Kafka Streams DS…
KafkaStreams
12
告警规则引擎
基于规则（Rule-based）的P…
告警规则引擎Rule-based
13
告警消息格式化
告警级别（Info/Warning/… · 告警内容模板设计
告警消息格式化Info/Warning…
14
告警输出到Kafka
将告警事件写入独立的Kafka告警T…
Kafka告警输出到
15
告警消费与通知
Consumer消费告警Topic · 对接邮件 · 钉钉
告警消费通知
16
监控看板集成
将PSI实时指标与告警状态输出到Gr…
监控看板集成PSI
17
数据质量保障
处理缺失值 · 异常值 · 数据延迟对PSI计算的影响
数据质量保障处理缺失值
18
性能优化
Kafka分区数调优 · Consumer并行度 · PSI计算窗口大小优化
性能优化Kafka
19
容错与高可用
Consumer Rebalance · Exactly-Once语义 · Checkpoint机制
容错高可用
20
多特征PSI监控
同时监控多个特征的PSI漂移 · 特征分组与聚合告警
PSI多特征
21
历史PSI回溯
从Kafka历史数据中回放计算PSI · 用于阈值调优
PSI历史
22
A/B测试场景PSI
在A/B实验场景下监控实验组与对照组…
A/BPSI
23
模型监控场景PSI
监控模型输入特征PSI · 提前发现模型退化
PSI模型监控场景
24
告警抑制与聚合
防止告警风暴 · 实现告警聚合 · 静默
告警抑制聚合
25
安全与权限控制
Kafka ACL配置 · 数据加密 · 敏感特征脱敏
安全权限控制
26
日志与审计
记录PSI计算日志 · 告警触发日志 · 便于事后审计
日志审计
27
单元测试与集成测试
PSI计算逻辑测试 · Kafka Producer/Con…
单元测试集成测试
28
部署与运维
Docker Compose/Kub…
部署运维
29
实战案例一
信贷风控场景实时PSI漂移告警系统搭…
实战案例一PSI
30
实战案例二
推荐系统特征PSI漂移监控与告警全流…
实战案例二PSI