VIP20

本课程属于：004-Kafka数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Kafka事务消息与生态集成工程开发

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Kafka核心概念再探

深入理解Topic、Partition、Replica、Offset、Consumer Group的底层原理与设计哲学。

生产者进阶

自定义分区器、消息确认机制（acks）、幂等性与事务、批量发送与压缩优化。

生产者性能

消费者进阶

Consumer Group Rebalance机制详解、位移提交策略（自动/手动）、再均衡监听器。

消费者Rebalance

Broker核心参数调优

网络线程模型、日志段管理、刷盘策略、副本同步机制（ISR与Leader选举）。

Kafka存储机制

日志文件结构（.log, .index, .timeindex）、稀疏索引、日志清理策略（delete/compact）。

Kafka高可用架构

多副本机制、Leader与Follower角色、故障转移与数据一致性保证。

高可用副本

Kafka安全机制

SSL/TLS加密传输、SASL认证（PLAIN/SCRAM/Kerberos）、ACL权限控制。

Kafka监控与运维

JMX指标监控、Cruise Control集群重平衡、日志分析与常见故障排查。

Kafka Connect实战

Source Connector与Sink Connector开发、单机与分布式模式、REST API管理。

Kafka Streams入门

流处理概念、KStream与KTable、状态存储与窗口操作。

Streams流处理

Kafka Streams进阶

Exactly-Once语义、拓扑结构优化、交互式查询与状态存储管理。

StreamsExactly-Once

KSQL与流式SQL

KSQL环境搭建、流与表的创建、JOIN操作与聚合查询。

Kafka与Spring Boot集成

Spring Kafka模板、@KafkaListener注解、消息转换器与异常处理。

Kafka与大数据生态集成

与Spark Streaming、Flink、Hadoop的集成方案与最佳实践。

大数据SparkFlink

Kafka与微服务架构

事件驱动架构设计、CQRS模式、Saga模式与Kafka的结合。

微服务CQRSSaga

Kafka集群迁移与升级

滚动升级策略、分区重分配、跨集群数据镜像（MirrorMaker 2）。

迁移MirrorMaker

Kafka性能压测与调优

使用kafka-producer-perf-test与kafka-consumer-perf-test、瓶颈分析与参数调整。

Kafka日志压缩详解

Compact策略原理、墓碑消息、删除与保留的权衡。

日志压缩Compact

Kafka事务机制

事务协调器、事务日志、原子写入与跨分区事务。

事务Exactly-Once

Kafka延迟队列实现

基于时间戳的延迟消费、自定义时间轮算法、应用场景。

延迟队列时间轮

Kafka死信队列与重试机制

死信主题设计、重试策略、消息回溯与补偿。

Kafka Schema Registry

Avro/Protobuf/JSON Schema管理、兼容性检查、序列化与反序列化。

Kafka REST Proxy

REST API调用Kafka、生产与消费消息、与外部系统集成。

Kafka多租户架构

基于Topic命名空间、配额管理、客户端ID隔离。

多租户隔离

Kafka与容器化部署

在Kubernetes上运行Kafka（Strimzi/Confluent Operator）、存储与网络挑战。

Kafka消息路由与过滤

基于Header的路由、自定义拦截器、消息选择器。

Kafka时间轮算法

层级时间轮原理、在延迟操作中的应用、性能优势。

算法时间轮

Kafka副本一致性协议

Leader Epoch机制、HW与LEO、日志截断与恢复。

一致性副本

Kafka磁盘故障处理

磁盘故障检测、数据恢复策略、多磁盘配置与JBOD。

Kafka未来趋势与生态展望

Kafka 4.0新特性、Kafka与云原生、Kafka在AI/ML中的应用。

趋势云原生