VIP11

本课程属于：017-Kafka、CDC与数据集成工程 后端、数据与云原生工程 · 共 11 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Kafka数据平台架构设计

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Kafka前世今生

消息队列的演进、Kafka诞生背景、核心设计理念、与竞品对比。

Kafka集群角色、Broker、Producer、Consumer、Zookeeper依赖、整体数据流。

集群数据流

Topic与Partition

主题概念、分区机制、分区策略、分区与副本的关系。

副本机制与高可用

Leader/Follower模型、ISR机制、ACK确认机制、故障恢复流程。

日志存储原理

日志分段、索引文件、日志清理策略、磁盘顺序写。

生产者核心原理

发送流程、分区选择、批量发送、压缩机制、幂等性与事务。

生产者幂等

生产者API实战

Java客户端配置、同步/异步发送、回调处理、自定义分区器。

消费者核心原理

消费组与重平衡、位移提交、消费模式、Push vs Pull。

消费者重平衡

消费者API实战

Java客户端配置、订阅模式、手动/自动提交、再均衡监听器。

Kafka网络模型

Reactor模式、Selector、请求处理流程、网络线程模型。

控制器Controller

选举机制、职责范围、分区Leader选举、故障转移。

控制器选举

Kafka安全机制

SSL/TLS加密、SASL认证、ACL授权、最佳实践。

Kafka监控与运维

JMX指标、Kafka Manager、Cruise Control、日志与告警。

架构设计、Source/Sink Connector、REST API、集群部署。

流处理模型、DSL与Processor API、状态存储、Exactly-Once语义。

流处理Exactly-Once

Kafka与大数据生态

与Spark/Flink/Flume/HDFS的集成方案。

大数据集成

Kafka与微服务

事件驱动架构、CQRS模式、异步解耦、消息可靠性保障。

微服务事件驱动

Kafka集群部署

硬件选型、操作系统优化、JVM调优、集群参数配置。

Kafka性能调优

吞吐量优化、延迟优化、分区数选择、批量大小调整。

Kafka数据迁移

集群扩容、分区重分配、MirrorMaker跨集群同步。

迁移MirrorMaker

Kafka消息可靠性

生产者重试、消费者位移、副本同步、数据丢失场景分析。

可靠性数据丢失

Kafka消息顺序性

分区内有序、全局有序方案、顺序消费的代价。

Kafka消息去重

幂等生产者、事务API、业务层去重策略。

Kafka延迟队列

时间轮算法、层级时间轮、延迟消息实现方案。

延迟时间轮

Kafka死信队列

死信产生原因、死信处理策略、重试机制设计。

Kafka与Kubernetes

Strimzi Operator、Kafka on K8s、存储与网络挑战。

Kafka Schema Registry

Avro/Protobuf/JSON Schema、兼容性检查、序列化与反序列化。

Kafka REST Proxy

架构设计、API使用、安全配置、性能考量。

Kafka实战案例一

日志采集系统设计、实时数仓架构、百万级QPS挑战。

Kafka实战案例二

金融级消息系统、异地多活架构、容灾与备份方案。