VIP20
本课程属于：075-反洗钱监测PSI漂移告警 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Flink实时计算PSI漂移告警实践指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
PSI概念与原理
什么是群体稳定性指标(PSI) · PSI的数学公式与分箱逻辑 · PSI在数据监控中的核心价值
PSI概念
02
Flink实时计算基础
Flink架构概览 · DataStream API · 时间语义与Watermark机制
Flink实时计算基础
03
实时PSI计算场景
为什么需要实时PSI · 离线PSI vs 实时PSI的差异 · 典型业务场景（风控
PSI实时
04
环境搭建与依赖
Flink集群部署（Standalo… · Maven依赖配置 · Kafka/Pulsar数据源集成
环境搭建依赖
05
数据源接入
Flink读取Kafka实时流数据 · Schema定义与反序列化 · 水位线设置
数据源接入Flink
06
实时分箱策略
等距分箱 · 等频分箱 · 自定义分箱
实时分箱策略等距分箱
07
滑动窗口PSI计算
基于滑动窗口的分布统计 · 窗口大小与滑动步长选择 · 状态后端配置
PSI滑动窗口
08
PSI计算核心算子
实现PSI计算函数 · 处理除零与空箱异常 · 对数与指数运算优化
PSI计算核心算子
09
参考分布存储
使用Flink状态或外部存储（Red… · 状态TTL与快照
参考分布存储Flink
10
实时分布统计
使用Flink ValueState… · 增量更新
实时分布统计Flink
11
PSI阈值告警逻辑
动态阈值设定（固定值/百分位/EWM… · 告警级别划分（警告/严重）
PSI阈值告警逻辑
12
告警输出与通知
Flink侧输出流（Side Out… · 对接钉钉/企微/邮件/短信
告警输出通知
13
多维度PSI监控
按特征 · 按时间 · 按分组（城市/渠道）拆分PSI计算
PSI多维度
14
性能优化
KeyBy优化 · 异步IO · 算子链与资源调优
性能优化KeyBy
15
状态管理与容错
Checkpoint与Savepoi… · Exactly-Once语义保证 · 状态迁移
状态管理容错
16
数据倾斜处理
Key分布不均导致的热点问题 · 自定义分区器与两阶段聚合
数据倾斜处理Key
17
实时PSI可视化
对接Grafana/Promethe… · 自定义Metric Reporter…
PSI实时
18
单元测试与集成测试
Flink测试框架（TestHarn… · 模拟数据流验证PSI逻辑
单元测试集成测试
19
灰度发布与A/B测试
双流对比PSI · 实验组与对照组分布差异监控
A/B灰度发布
20
模型特征漂移监控
结合模型特征重要性 · 加权PSI计算 · 特征级告警
模型特征漂移监控结合模型特征重要…
21
多模型场景
多模型并行PSI监控 · 模型版本对比 · 模型回滚触发
多模型场景PSI
22
数据质量保障
输入数据空值/异常值处理 · 数据延迟与乱序处理 · 数据完整性校验
数据质量保障输入数据空值
23
告警抑制与降噪
重复告警合并 · 静默期设置 · 基于历史告警的智能降噪
告警抑制降噪
24
运维与监控
Flink JobManager/T… · PSI计算延迟监控 · 作业重启策略
运维监控
25
案例实战
金融风控特征PSI实时告警系统 · 从需求到上线全流程
案例实战PSI
26
案例实战
推荐系统用户行为分布漂移监控 · 实时干预推荐策略
案例实战推荐系统用户行为…
27
案例实战
广告竞价特征PSI监控 · 预算与出价策略动态调整
案例实战PSI
28
进阶
基于Flink ML的自动分箱与PS… · 自适应阈值学习
进阶Flink
29
进阶
Flink SQL实现PSI计算 · 简化开发流程 · 降低维护成本
进阶Flink
30
总结与最佳实践
架构设计要点 · 常见坑点 · 生产环境配置清单
最佳实践架构设计要点