VIP20

本课程属于：004-Kafka数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Kafka数据平台高可用架构

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Kafka前世今生

消息队列发展史、Kafka诞生背景、Kafka在数据平台中的定位。

发展史定位

核心概念扫盲

Topic、Partition、Offset、Broker、Producer、Consumer、Consumer Group。

集群部署实战

多Broker部署、ZooKeeper/KRaft模式选择、关键配置项解读。

副本机制详解

Leader与Follower、ISR机制、acks参数对可靠性的影响。

副本可靠性

Leader选举与故障转移

Controller职责、选举过程、故障恢复时间优化。

选举故障转移

数据持久化与存储

日志分段(Log Segment)、索引文件、刷盘策略。

生产端高可用

重试机制、幂等性、事务保证、分区器自定义。

生产者事务

消费端高可用

Rebalance机制、位移提交、Exactly-Once语义。

消费者Exactly-Once

高可用网络层

NIO模型、网络线程模型、请求处理队列。

磁盘与内存调优

Page Cache利用、零拷贝技术、堆内/堆外内存配置。

调优零拷贝

监控与告警体系

JMX指标、Prometheus+Grafana集成、关键指标解读。

集群扩容与缩容

分区重分配、数据迁移、滚动升级策略。

数据一致性保证

HW与LEO、Epoch机制、日志截断与恢复。

跨机房/异地容灾

MirrorMaker、Cluster Linking、双活/主备架构。

容灾跨机房

SSL/TLS加密、SASL认证、ACL权限控制。

配额与限流

生产/消费配额、请求限流、公平调度。

Kafka Connect高可用

Worker集群、Connector故障转移、REST API管理。

Connect故障转移

Kafka Streams高可用

状态存储、任务重分配、Exactly-Once保证。

日志压缩与清理

Log Compaction、Log Deletion、Cleaner线程调优。

延迟与吞吐量权衡

批处理、压缩算法、网络延迟优化。

Kafka与Kubernetes

Strimzi/Confluent Operator部署、StatefulSet管理、持久卷配置。

性能压测实战

生产/消费吞吐量测试、延迟测试、瓶颈定位。

常见故障排查

磁盘写满、OOM、频繁GC、网络超时、Controller抖动。

版本升级策略

滚动升级、协议兼容性、降级方案。

多租户架构

Topic命名规范、资源隔离、配额管理。

多租户隔离

Kafka与数据湖

Kafka Connect S3/HDFS Sink、Avro/Parquet序列化、Schema Registry。

数据湖Schema

Kafka与实时计算

Flink/Spark Streaming集成、端到端延迟优化、Checkpoint对齐。

实时计算Flink

大规模集群治理

Topic治理、分区数规划、集群容量评估。

混沌工程实践

故障注入、随机杀节点、网络分区模拟、恢复验证。

架构演进与未来

Kafka 4.0展望、弹性Kafka、Serverless Kafka、与Pulsar对比。