VIP13

本课程属于：015-数据仓库、建模与Analytics Engineering 后端、数据与云原生工程 · 共 13 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时流处理性能调优实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

流处理基石

实时计算概念、Lambda架构与Kappa架构对比、流处理与批处理的核心差异。

Flink集群部署模式（Standalone/YARN/K8s）、核心配置参数解析、日志与监控初始化。

数据源优化

Kafka分区策略与并行度对齐、Source算子的背压感知、自定义Source的调优技巧。

算子链与任务链

算子链合并原理、disableChaining的使用场景、任务链对吞吐量的影响。

并行度调优

并行度设置层级（Operator/Env/Client）、全局并行度与Slot的关系、动态并行度调整。

状态后端选择

HashMapStateBackend vs RocksDBStateBackend、增量检查点配置、状态大小监控。

检查点机制

Exactly-Once语义实现、检查点间隔与超时设置、大状态下的检查点优化。

一致性容错

反压产生原理、Web UI反压监控解读、反压根因定位与解决策略。

Flink内存模型（堆内/堆外）、Managed Memory调优、网络缓冲区配置。

网络与IO优化

TaskManager网络缓冲区、数据序列化（Kryo/Pojo/Avro）、Shuffle机制调优。

网络序列化

窗口性能调优

窗口类型选择（Tumbling/Sliding/Session）、窗口状态清理、迟到数据处理。

窗口迟到数据

时间语义与水位线

EventTime vs ProcessingTime、水位线生成策略、空闲分区处理。

时间水位线

异步IO与外部存储

AsyncIO原理与配置、HBase/Redis维表关联优化、连接池复用。

数据倾斜处理

KeyBy倾斜检测、自定义分区器、两阶段聚合解决热点。

容错与恢复

Task失败恢复策略、JobManager高可用配置、Savepoint与Checkpoint管理。

容错高可用

SQL与Table API优化

动态表与连续查询、SQL Hint调优、维表Join性能提升。

CEP复杂事件处理

模式匹配性能优化、超时与跳过策略、CEP状态大小控制。

资源动态伸缩

弹性伸缩策略、基于负载的自动扩缩容、YARN/K8s资源动态申请。

数据序列化进阶

自定义TypeInformation、GenericType优化、序列化器缓存。

序列化TypeInfo

文件系统与Sink优化

HDFS小文件问题、Bulk与Streaming FileSink选择、Exactly-Once Sink。

多流Join优化

Regular Join vs Interval Join、状态TTL设置、Join顺序优化。

广播状态模式

广播流与主流关联、动态规则更新、广播状态大小控制。

广播动态规则

性能监控体系

Prometheus + Grafana集成、Flink Metrics关键指标、自定义Reporter。

火焰图与Profiling

JVM火焰图生成、CPU热点分析、内存泄漏排查。

火焰图Profiling

生产环境压测

全链路压测方案、数据模拟器构建、压测指标与阈值设定。

版本升级与迁移

Flink版本兼容性、状态迁移策略、滚动升级方案。

云原生流处理

Flink on K8s Operator、Native Kubernetes部署、动态资源管理。

云原生Operator

混合云与多机房

跨机房数据同步、延迟优化、灾难恢复架构。

混合云灾备

行业案例实战

实时数仓性能调优、风控系统低延迟优化、IoT数据流处理。

流批一体演进、AI for Streaming、Serverless流处理展望。

趋势Serverless