VIP20

本课程属于：004-Kafka数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Kafka数据平台实战项目

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Kafka前世今生

消息队列发展史、Kafka诞生背景、Kafka在数据平台中的定位。

发展史定位

Kafka核心概念

Topic、Partition、Broker、Producer、Consumer、Consumer Group。

Kafka集群搭建

单机部署、集群部署、ZooKeeper vs KRaft模式对比。

Kafka生产端实战

Producer API、发送模式（同步/异步）、分区策略、消息确认机制（acks）。

Kafka消费端实战

Consumer API、消费模式（pull）、位移提交（自动/手动）、再均衡。

ConsumerRebalance

Kafka存储机制

日志存储结构、Segment文件、索引文件、日志清理策略。

Kafka高可用设计

副本机制（Leader/Follower）、ISR机制、故障恢复。

Kafka消息可靠性

幂等性、事务、Exactly-Once语义。

Exactly-Once事务

Kafka性能调优

参数调优（batch.size、linger.ms、buffer.memory）、JVM调优、操作系统调优。

Kafka监控与运维

JMX监控、Kafka Manager、Cruise Control、常见故障排查。

Kafka Connect实战

Source Connector、Sink Connector、REST API、单机与分布式模式。

Kafka Streams入门

流处理概念、KStream/KTable、状态存储、窗口操作。

Kafka Streams实战

实时ETL、数据聚合、Join操作、Exactly-Once保证。

流式SQL、创建Stream/Table、持续查询、物化视图。

Kafka与Flume集成

Flume架构、Kafka Sink、Kafka Source、日志采集实战。

Kafka与Spark Streaming集成

Direct Stream、Offset管理、Exactly-Once、性能对比。

Kafka与Flink集成

Flink Kafka Connector、Checkpoint、端到端Exactly-Once。

FlinkCheckpoint

Kafka与ELK集成

Filebeat + Kafka + Logstash + Elasticsearch + Kibana。

Kafka与Spring Boot集成

Spring Kafka、@KafkaListener、KafkaTemplate、错误处理。

Spring BootKafkaTemplate

Kafka Schema Registry

Avro序列化、Schema兼容性、Schema演进。

Kafka REST Proxy

HTTP API、生产/消费消息、Schema集成。

Kafka安全实战

SSL/TLS加密、SASL认证（PLAIN/SCRAM/Kerberos）、ACL授权。

Kafka多数据中心部署

MirrorMaker 2.0、双活架构、灾备方案。

多DCMirrorMaker

Kafka消息压缩

压缩算法对比（gzip/snappy/lz4/zstd）、压缩时机、性能影响。

Kafka延迟队列

时间轮算法、延迟消息实现、应用场景。

延迟时间轮

Kafka死信队列

死信概念、重试策略、死信处理方案。

Kafka消息轨迹

消息链路追踪、TraceId传递、全链路监控。

Kafka数据治理

数据血缘、元数据管理、数据质量监控。

Kafka实战项目一

实时日志采集与分析平台。

Kafka实战项目二

用户行为实时数仓。