VIP20

本课程属于：003-实时流处理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Kafka Streams与Flink高吞吐架构优化

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

流处理基础与挑战

实时流处理概念、高吞吐场景定义，深入剖析延迟、吞吐、容错三大核心挑战。

数据流模型与架构

数据流图、有向无环图（DAG），Lambda与Kappa架构对比及选型建议。

消息队列选型与优化

Kafka、Pulsar、RabbitMQ对比，分区策略与吞吐量调优实践。

消息队列调优

Kafka深度调优

生产者批量发送、压缩算法选择、消费者拉取模型与页缓存优化。

流处理引擎对比

Apache Flink、Spark Streaming、Storm、Kafka Streams 核心差异与适用场景。

Flink运行时架构

JobManager、TaskManager、Slot、并行度与任务链机制详解。

Flink数据流与算子

Source、Transformation、Sink，KeyBy与Window机制核心用法。

算子数据流

时间语义与水位线

Event Time、Processing Time、Ingestion Time，Watermark生成与传播策略。

时间语义水位线

窗口机制详解

滚动窗口、滑动窗口、会话窗口，以及窗口性能优化技巧。

状态管理与后端

Keyed State、Operator State，RocksDB与Heap StateBackend对比选型。

检查点与容错机制

Checkpoint原理、Savepoint、Exactly-Once语义实现与配置。

容错Exactly-Once

反压机制与背压处理

反压产生原因、Flink反压监控、动态反压缓解策略。

内存管理与优化

Flink内存模型、堆外内存、网络缓冲区调优与最佳实践。

网络与序列化优化

Netty配置、Kryo与Avro序列化、数据倾斜处理方案。

网络序列化

资源调度与弹性伸缩

YARN/K8s集成、动态资源分配、Task Slot复用策略。

数据分区与键设计

KeyBy策略、自定义分区器、避免热键与数据倾斜。

分区键设计

异步I/O与外部系统交互

AsyncIO算子、数据库连接池优化、缓存策略与吞吐提升。

异步外部系统

多流合并与Join

Window Join、Interval Join、Temporal Join，性能对比与选型。

复杂事件处理（CEP）

Flink CEP库、模式匹配、超时处理与实时风控场景。

CEP模式匹配

SQL与Table API优化

Flink SQL执行计划、MiniBatch聚合、Top-N优化技巧。

监控与指标体系

Flink Metrics、Prometheus+Grafana集成、自定义Reporter。

日志与链路追踪

结构化日志、SLF4J配置、OpenTelemetry集成与排障。

性能基准测试

吞吐量测试、延迟测试、稳定性测试，常用工具与指标解读。

基准测试性能

常见性能瓶颈分析

CPU、内存、网络、磁盘IO瓶颈定位方法与实战案例。

代码级优化技巧

算子链合并、数据本地性、UDF优化、对象复用与序列化。

代码优化UDF

生产环境部署最佳实践

集群规划、配置调优、滚动升级、灰度发布与运维。

部署最佳实践

数据一致性保障

幂等写入、事务性输出、两阶段提交协议与端到端一致性。

一致性事务

大规模集群运维

任务调度策略、资源隔离、故障恢复演练与容量规划。

实时数仓架构、百万QPS日志处理、金融风控实时计算。

未来趋势与演进

流批一体、云原生流处理、Serverless流计算、AI与流处理融合。