VIP20

本课程属于：075-反洗钱监测PSI漂移告警 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Flink实时数据PSI漂移监测教程

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

什么是PSI（Population… · PSI在实时数据质量中的重要性 · 课程目标与前置知识

课程导论PSI

PSI数学原理

PSI计算公式推导 · 分箱策略（等距 · 等频

PSI数学原理

Flink基础回顾

Flink DataStream A… · Flink时间语义与水位线 · Flink状态后端简介

Flink基础回顾

实时PSI监测架构设计

整体架构图（数据源→Flink作业→… · 模块划分（数据接入 · 分箱计算

Flink集群搭建（Standalo… · Kafka/Pulsar消息队列安装 · Prometheus+Grafana…

环境准备Flink

数据源定义

实时数据流Schema设计 · 使用Flink Kafka Cons… · 数据解析与反序列化

数据源定义Schema

参考分布构建

离线训练参考分布 · 从HDFS/MySQL加载参考分布到… · 参考分布数据结构设计

参考分布构建离线训练参考分布

实时分箱计算

基于Flink KeyedProce… · 滑动窗口内统计每个分箱的样本计数

实时分箱计算Flink

PSI计算算子

实现PSI计算RichMapFunc… · 从广播状态读取参考分布 · 计算每个窗口的PSI值

PSI计算算子

状态管理与容错

使用Flink ValueState… · Checkpoint配置与Exact…

状态管理容错

告警机制设计

基于PSI阈值的分级告警（WARN/… · 告警消息格式（时间 · 特征名

告警机制设计PSI

告警输出Sink

实现自定义SinkFunction写… · 同时支持Webhook（钉钉/飞书）…

Sink告警输出

多特征并行监测

使用Flink Side Outpu… · 动态注册特征列表 · 特征级PSI计算与隔离

多特征并行监测Flink

算子链优化与资源调优 · 使用Flink CEP检测连续漂移模… · 反压监控与处理

性能优化算子链优化

数据倾斜处理

KeyBy热点问题分析 · 使用Salting技术打散特征值 · 两阶段聚合优化

数据倾斜处理KeyBy

实时PSI可视化

使用Flink SQL将PSI结果写… · Kibana仪表盘设计（趋势图 · 热力图）

集成Prometheus

自定义Flink Metric Re… · Prometheus抓取与Alert…

Prometheus集成

单元测试与集成测试

使用Flink Test Harne… · 模拟Kafka输入验证PSI计算逻辑

单元测试集成测试

生产部署与运维

Flink作业提交参数最佳实践 · 日志采集与监控 · 作业升级与Savepoint恢复

生产部署运维

电商实时用户画像PSI监测 · 监测年龄 · 性别

案例实战1PSI

金融风控特征PSI监测 · 监测收入 · 负债率

案例实战2PSI

IoT传感器数据PSI监测 · 监测温度 · 湿度

案例实战3IoT

自适应阈值与动态分箱 · 基于历史PSI的基线自动更新

高级话题自适应阈值

多模型对比监测 · 同时监测多个参考分布（如A/B实验组…

高级话题多模型对比监测

PSI与KS统计量联合监测 · 构建综合数据质量评分

高级话题PSI

常见问题排查

PSI计算为NaN或Infinity… · 分箱为空时的处理策略

常见问题排查PSI

性能基准测试

不同数据量级（1K/10K/100K…

性能基准测试K/10K/100K

将PSI监测结果反馈给模型训练管道 · 触发自动重训练

核心知识点回顾 · 最佳实践清单 · 推荐学习资源

课程总结核心知识点回顾

设计并实现一个完整的实时PSI监测系… · 包含数据生成 · Flink作业

结业项目PSI