首页
›
金融科技风控与量化工程
›
022-金融压力测试特征筛选清单
›
《基于Flink的压力测试特征实时计算教程》
VIP20
本课程属于:022-金融压力测试特征筛选清单
金融科技风控与量化工程 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录
咨询 / 购买
基于Flink的压力测试特征实时计算教程
共计 30 章节
点击此处阅读海量试读课程:100+行业、1000+细分领域
01
课程导论与背景
压力测试特征实时计算的定义 · 应用场景(如性能监控 · 异常检测)
课程导论
背景
02
Flink基础回顾
Flink架构(JobManager · TaskManager) · 数据流模型
Flink
基础回顾
03
压力测试数据模型设计
定义压测事件流(请求量 · 响应时间 · 错误率
压力测试数据模型…
定义压测事件流
04
环境搭建与项目初始化
基于Maven/Gradle创建Fl… · 引入Flink Stream API… · 配置本地与集群运行环境
环境搭建
项目初始化
05
Source数据源接入
实现Kafka Source连接器 · 配置反序列化Schema · 模拟压测数据生成器(DataGene…
Source
数据源接入
06
数据清洗与预处理
使用Map/FlatMap算子过滤异… · 格式化时间戳 · 补充缺失字段
数据清洗
预处理
07
基于滚动窗口的吞吐量计算
使用TumblingEventTim… · 每5秒统计一次请求总数与成功请求数 · 计算实时吞吐量
基于滚动窗口的吞…
TumblingEven…
08
基于滑动窗口的响应时间特征
使用SlidingEventTime… · 滑动步长5秒) · 计算P50
基于滑动窗口的响…
SlidingEvent…
09
基于会话窗口的突发流量检测
使用SessionWindow(ga… · 识别用户连续请求的会话 · 计算会话内请求密度
基于会话窗口的突…
SessionWindo…
10
自定义ProcessFunction实现复杂特征
使用KeyedProcessFunc… · 结合ValueState与Timer · 计算累计错误率与趋势斜率
ProcessFunct…
自定义
11
水位线(Watermark)策略与乱序处理
设置BoundedOutOfOrde… · 处理延迟数据 · 使用AllowedLateness与…
Watermark
水位线
12
状态后端选择与优化
对比MemoryStateBacke… · FsStateBackend · RocksDBStateBacken…
状态后端选择
优化
13
KeyBy与分区策略
根据压测任务ID或接口名进行KeyB… · 自定义Partitioner解决数据…
KeyBy
分区策略
14
多流合并与Join
使用CoGroup与Interval… · 将请求流与响应流合并 · 计算端到端延迟特征
Join
多流合并
15
维表关联(AsyncIO)
使用AsyncIO函数关联Redis… · 动态调整告警规则
AsyncIO
维表关联
16
Sink输出到Kafka/Elasticsearch
将计算后的特征指标写入Kafka(供…
Sink
Kafka/Elasti…
17
Flink CEP复杂事件处理
定义模式(Pattern)检测连续超… · 错误率飙升等异常事件序列 · 输出告警信号
Flink
CEP
18
Table API与SQL实现特征计算
使用Flink SQL定义滚动窗口 · 滑动窗口聚合 · 简化代码开发
Table
API
19
PyFlink集成
使用Python API定义UDF · 实现自定义特征计算逻辑 · 与Java/Scala混合部署
PyFlink
集成
20
性能调优
并行度设置 · 算子链(Operator Chain… · 缓冲区大小(buffer timeo…
性能调优
并行度设置
21
Checkpoint与Savepoint机制
配置Checkpoint间隔与模式 · 实现故障恢复与版本升级时的状态迁移
Checkpoint
Savepoint
22
反压(Backpressure)监控与处理
通过Web UI识别反压节点 · 调整资源或优化算子逻辑
Backpressure
反压
23
压力测试特征实时计算案例1
电商大促接口压测 · 实时计算QPS · 成功率
压力测试特征实时…
电商大促接口压测
24
压力测试特征实时计算案例2
游戏服务器压测 · 计算玩家并发数 · 帧同步延迟
压力测试特征实时…
游戏服务器压测
25
压力测试特征实时计算案例3
金融交易系统压测 · 计算交易吞吐量 · 峰值TPS
压力测试特征实时…
金融交易系统压测
26
可视化与监控看板
使用Grafana配置Elastic… · 展示实时特征曲线与告警事件
可视化
监控看板
27
Flink on Kubernetes部署
使用Flink Operator在K… · 配置资源配额与自动扩缩容
Flink
on
28
作业日志与指标监控
集成Prometheus Repor… · 采集作业延迟 · 吞吐量
作业日志
指标监控
29
常见问题与排错
数据倾斜 · 序列化异常 · Checkpoint失败
常见问题
排错
30
课程总结与进阶方向
回顾核心知识点 · 介绍Flink ML · 实时数仓
课程总结
进阶方向
所属VIP或分类
同VIP:Flink实时计算压力测试特征应用详解
同VIP:压力测试情景分析特征构建全流程
同VIP:压力测试样本构建与特征服务详解