第1章
数据流水线概述
数据流水线的定义与架构，Kafka在构建可靠数据管道中的核心角色与价值。
基础架构
第2章
Kafka核心概念
Topic、Partition、Producer、Consumer、Broker与偏移量等核心抽象详解。
核心概念
第3章
Kafka安装与配置
单机与集群模式安装，关键配置参数及JMX监控配置实战。
运维部署
第4章
生产者API详解
同步与异步发送、回调、分区策略及消息序列化机制。
API生产者
第5章
消费者API详解
消费者组、再均衡、偏移量提交与消费速率控制。
API消费者
第6章
Kafka Connect入门
Source与Sink Connector，单机与分布式模式及REST API管理。
集成Connect
第7章
Kafka Streams入门
流处理拓扑、KStream与KTable、状态存储与Exactly-Once语义。
流处理Streams
第8章
数据流水线设计模式
发布-订阅、事件溯源、日志聚合与CDC模式深度解析。
模式架构
第9章
实时ETL流水线
MySQL CDC接入Kafka，Streams清洗转换并写入Elasticsearch。
ETL实时
第10章
日志聚合流水线
Filebeat采集、Logstash解析、Kafka缓冲及HDFS/S3存储。
日志ELK
第11章
指标监控流水线
JMX指标采集、Kafka指标总线、Grafana与Prometheus集成及告警。
监控指标
第12章
数据湖摄取流水线
Kafka Connect S3 Sink、Avro/Parquet格式、分区策略与Schema Registry。
数据湖摄取
第13章
微服务事件驱动流水线
事件总线、异步通信、事件版本管理与死信队列处理。
微服务事件驱动
第14章
Kafka安全机制
SSL/TLS加密、SASL认证、ACL授权与审计日志。
安全认证
第15章
Kafka监控与运维
Kafka Manager、Lag监控、磁盘清理与集群扩缩容。
运维监控
第16章
Kafka性能调优
生产者/消费者吞吐优化、Broker参数与操作系统调优。
性能调优
第17章
Kafka高可用设计
副本机制、ISR、Leader选举、机架感知与跨机房部署。
高可用架构
第18章
Kafka与Flink集成
Flink Kafka Connector、事件时间、Checkpoint与端到端Exactly-Once。
Flink集成
第19章
Kafka与Spark Streaming集成
Direct Stream、结构化流与Kafka集成及流批统一。
Spark流处理
第20章
Kafka与Spring Boot集成
Spring Kafka模板、@KafkaListener、消息转换与重试处理。
Spring微服务
第21章
Kafka Schema Registry
Avro Schema定义、兼容性检查、序列化器与演化策略。
SchemaAvro
第22章
Kafka REST Proxy
REST API生产消费消息、Schema查询与安全认证集成。
RESTAPI
第23章
Kafka MirrorMaker
跨集群数据同步、双向复制、偏移量同步与监控告警。
复制跨集群
第24章
Kafka Tiered Storage
分层存储架构、远程存储配置与数据生命周期管理。
存储分层
第25章
Kafka KRaft模式
去除ZooKeeper依赖、KRaft架构原理与生产部署建议。
KRaft架构
第26章
Kafka消息压缩
gzip/snappy/lz4/zstd对比、压缩配置与吞吐量权衡。
压缩性能
第27章
Kafka幂等性与事务
幂等生产者、事务消息、跨分区原子写入与事务协调器。
事务一致性
第28章
Kafka客户端最佳实践
连接池、重试策略、背压机制与优雅关闭。
实践客户端
第29章
Kafka数据流水线实战案例
电商订单、物联网、金融交易与社交媒体Feed流水线。
实战案例
第30章
Kafka未来趋势与生态
Kubernetes集成、Serverless、AI/ML与社区路线图。
趋势生态