VIP20
本课程属于：083-风控规则引擎PSI漂移告警 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kafka实时流PSI漂移检测实操

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
PSI漂移检测的背景 · 实时流场景下的挑战 · 课程目标与前置知识
课程导论PSI
02
PSI指标基础
群体稳定性指标的定义 · 计算公式 · 分箱策略与业务含义
PSI指标基础
03
Kafka核心概念回顾
Topic · Partition · Consumer Group
Kafka核心概念回顾
04
Kafka Streams入门
Streams DSL · Processor API · 状态存储与时间窗口
KafkaStreams
05
环境搭建
Docker Compose部署Ka… · 创建测试Topic · 安装Python/Java客户端
环境搭建Docker
06
数据模拟器开发
使用Python生成带时间戳的实时特… · 模拟分布偏移
数据模拟器开发Python
07
参考分布构建
离线训练阶段计算基准分箱与期望频率 · 存入外部状态存储
参考分布构建离线训练阶段计算…
08
实时分箱引擎
基于Kafka Streams实现滑…
实时分箱引擎Kafka
09
PSI计算算子
实现PSI公式的流式版本 · 处理除零与平滑化
PSI计算算子
10
状态存储设计
使用RocksDB存储窗口聚合结果 · 配置TTL与容错
状态存储设计RocksDB
11
告警阈值设定
基于统计分布与业务容忍度设定PSI阈… · 避免误报
告警阈值设定PSI
12
Kafka Connect集成
将PSI结果输出到Elasticse…
KafkaConnect
13
可视化仪表盘
使用Grafana展示实时PSI曲线…
可视化仪表盘Grafana
14
多特征并行计算
设计拓扑结构 · 对多个特征同时计算PSI并合并结果
多特征并行计算设计拓扑结构
15
性能优化
调整窗口大小 · 缓存策略与并行度 · 降低延迟
性能优化调整窗口大小
16
Exactly-Once语义
配置Kafka Streams的精确…
Exactly-Once语义
17
异常场景处理
数据倾斜 · 分区重平衡 · 背压与背压缓解
异常场景处理数据倾斜
18
单元测试
使用TopologyTestDriv…
单元测试TopologyTest…
19
集成测试
构建端到端测试流水线 · 验证漂移检测准确性
集成测试构建端到端测试流…
20
CI/CD流水线
自动化部署Kafka Streams…
CI/CD流水线
21
监控与日志
集成Micrometer指标与结构化… · 定位问题
监控日志
22
案例实战1
信贷风控场景——收入特征PSI漂移检…
案例实战1PSI
23
案例实战2
推荐系统场景——用户行为特征分布漂移…
案例实战2推荐系统场景
24
案例实战3
IoT传感器场景——多维度传感器数据…
案例实战3IoT
25
与离线PSI对比
分析实时PSI与离线PSI的差异与互…
PSI离线
26
扩展
基于KServe的模型PSI监控与自…
扩展KServe
27
扩展
使用Flink SQL实现类似PSI…
扩展Flink
28
安全与权限
Kafka ACL配置 · 数据脱敏与审计
安全权限
29
常见问题FAQ
分箱不一致 · 窗口边界效应 · 资源估算
FAQ常见问题
30
课程总结
知识图谱回顾 · 最佳实践清单与进阶学习路径
课程总结知识图谱回顾