VIP20
本课程属于:043-OpenCV摄像头实时处理 AI视觉与工业视觉 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

流处理性能优化方案

📚 共计 30 章节
01
流处理基础概念
流处理与批处理的区别、应用场景(实时监控、风控、推荐)、常见框架对比(Flink、Spark Streaming、Kafka Streams)
概念对比
02
性能瓶颈分析
常见瓶颈(CPU、内存、网络、IO)、监控工具定位(Prometheus、Grafana)、性能基准测试方法
监控基准
03
数据序列化与反序列化优化
JSON/Avro/Protobuf/Kryo对比、高效框架选择、Schema Registry与缓存优化
序列化缓存
04
内存管理与GC优化
JVM内存模型、G1/ZGC选择、堆外内存技巧、减少对象分配策略
JVMGC
05
并行度与分区策略
并行度设置原则、KeyBy/Round-Robin/Rebalance、避免数据倾斜、动态调整
并行分区
06
状态管理与优化
RocksDB/HashMap/FsState后端、TTL设置、增量与全量Checkpoint、访问模式优化
状态RocksDB
07
网络通信优化
Netty与Akka、TCP参数调优(缓冲区、Nagle)、连接池复用、减少序列化开销
网络Netty
08
背压机制与流量控制
背压原理(Flink/Spark)、监控指标、反压策略(丢弃/降级/缓存)、动态速率调整
背压流量
09
窗口操作优化
滚动/滑动/会话窗口选择、大小与步长调优、增量与全量聚合、状态清理
窗口聚合
10
算子链与任务调度
算子链合并拆分、Slot共享与TaskManager配置、避免频繁Task切换、局部并行度优化
调度算子
11
数据源与数据接收优化
Kafka消费者调优(fetch.min.bytes、max.poll.records)、分区分配、预取缓冲、自定义Source
SourceKafka
12
数据汇与数据输出优化
Kafka生产者调优(batch.size、linger.ms、acks)、异步写入、连接池、背压感知Sink
SinkKafka
13
Checkpoint与容错机制
Checkpoint配置调优(间隔、超时、并发)、Savepoint、Exactly-Once原理、状态恢复优化
容错Exactly-Once
14
时间语义与水位线
事件/处理/摄入时间、Watermark生成策略、乱序处理与延迟、Idle Source处理
时间水位线
15
数据倾斜处理
KeyBy倾斜、自定义分区器、两阶段聚合(Local-Global)、随机Key打散再聚合
倾斜分区
16
资源管理与弹性伸缩
YARN/K8s资源分配、动态伸缩(Reactive Mode)、TaskManager配比、Slot设置
资源弹性
17
SQL与Table API优化
执行计划优化、谓词/投影下推、维表Join缓存、UDF性能考量
SQLTable API
18
异步IO与外部系统交互
AsyncIO原理配置、异步客户端(Redis、HBase)、超时并发控制、连接池缓存
异步IO
19
多流Join优化
双流Join窗口选择、Regular与Interval Join对比、状态清理TTL、广播流使用
Join多流
20
复杂事件处理(CEP)优化
CEP模式匹配瓶颈、NFA与状态机优化、超时跳过策略、CEP与SQL对比
CEP模式
21
数据湖与流批一体
流批一体优势、Iceberg/Hudi集成、小文件合并、元数据缓存优化
数据湖流批
22
监控与告警体系
自定义Metrics埋点、Prometheus+Grafana集成、关键指标告警、日志诊断
监控告警
23
性能测试与压测工具
JMeter/Locust压测、自定义数据生成器、性能报告解读与优化方向
压测工具
24
代码级优化技巧
避免Lambda序列化陷阱、ValueState代替MapState、减少KeyBy Shuffle、算子链调优
代码技巧
25
硬件与操作系统优化
CPU绑定与NUMA、内存页大小与透明大页、磁盘IO调度、网络中断亲和性
硬件OS
26
Kafka与流处理集成优化
Broker参数调优(num.network.threads、num.io.threads)、分区与并行度匹配、压缩批量
Kafka集成
27
RocksDB状态后端深度调优
Block Cache与Write Buffer调优、Bloom过滤器与压缩、SST合并策略、监控指标
RocksDB深度
28
生产环境案例
电商实时风控、金融实时数仓延迟优化、物联网高吞吐优化
案例实战
29
未来趋势与新技术
流处理+AI(实时特征工程)、Serverless流处理、Rust/C++应用、WebAssembly边缘计算
趋势前沿
30
课程总结与最佳实践
性能优化方法论、常见陷阱与避坑指南、优化Checklist、推荐学习资源
总结最佳实践