VIP20

本课程属于：016-Kafka数据流平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Kafka数据流平台项目实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

消息队列概念、Kafka发展史、核心优势与应用场景解析。

Kafka核心概念

Topic、Partition、Producer、Consumer、Broker、Zookeeper角色深度解析。

Kafka集群搭建

单机与集群部署配置、JMX监控开启、常见启动问题排查。

Kafka命令行操作

Topic管理、生产者与消费者命令行、消费组管理实战。

Kafka Java Producer API

核心参数、同步异步发送、回调机制与分区策略详解。

Kafka Java Consumer API

核心参数、订阅模式、手动提交偏移量、再均衡监听器。

Kafka序列化与反序列化

自定义序列化器、Avro序列化、Schema Registry集成。

Kafka分区机制详解

分区策略、粘性分区、自定义分区器与性能关系。

Kafka副本机制与高可用

ISR机制、Leader选举、ACKS参数、最小同步副本深度解析。

高可用副本

Kafka存储机制

日志存储结构、索引文件、日志分段与清理策略。

Kafka消息可靠性保证

生产者幂等性、事务消息、Exactly-Once语义实现。

可靠性事务

Kafka消费语义

At-Most-Once、At-Least-Once、Exactly-Once与事务消费。

Kafka监控与运维

JMX指标、Kafka Eagle、Prometheus+Grafana监控、日志分析。

Kafka调优实战

生产者吞吐量、消费者拉取性能、操作系统参数调优。

Kafka Connect入门

Source/Sink Connector、单机与分布式模式详解。

Kafka Connect实战

文件数据导入、MySQL CDC同步、Elasticsearch Sink。

Kafka Streams入门

流处理概念、Streams DSL、状态存储、窗口操作。

流处理Streams

Kafka Streams实战

实时ETL、数据聚合、Join操作、KTable与KStream。

Kafka与Spring Boot集成

Spring Kafka配置、@KafkaListener、消息转换器。

Kafka与Flume集成

Flume Source配置、Channel选择、Sink到Kafka实战。

Flume数据管道

Kafka与Spark Streaming集成

Direct Stream、偏移量管理、性能优化。

Kafka与Flink集成

Flink Kafka Connector、Checkpoint与Exactly-Once、Watermark。

Kafka安全机制

SSL/TLS加密、SASL认证、ACL权限控制、RBAC。

Kafka跨集群数据同步

MirrorMaker 2.0配置、双向同步、灾难恢复方案。

跨集群容灾

Kafka消息压缩

压缩算法对比（gzip/snappy/lz4/zstd）、压缩与吞吐量关系。

Kafka延迟队列实现

时间轮原理、基于Kafka的延迟消息方案与实战代码。

延迟队列时间轮

Kafka死信队列与重试机制

重试Topic设计、死信队列处理、异常消息回溯。

Kafka大规模集群运维

集群扩容、分区重分配、滚动升级、故障恢复。

运维大规模

Kafka性能压测

使用kafka-producer-perf-test、kafka-consumer-perf-test与结果分析。

Kafka项目实战

实时日志收集系统、用户行为追踪、订单消息处理全流程。

项目全流程