VIP20

本课程属于：004-Kafka数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Kafka集群部署与数据平台全链路建设

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Kafka 前世今生

消息队列发展史 · Kafka 诞生背景 · Topic/Partition/Offset 核心概念 · 应用场景剖析

Linux 基础环境 · JDK 安装 · ZooKeeper 集群搭建 · Kafka 二进制包下载与解压

单机模式部署

server.properties 详解 · 启动与停止 · 验证部署 · kafka-topics.sh 命令行工具

集群模式部署

集群规划 · 多 Broker 配置 · 启动与验证 · Controller 选举机制

集群高可用

创建/查看/修改/删除 Topic · 分区与副本分配策略 · 分区数选择经验谈

生产者（Producer）基础

Java 客户端引入 · Producer 核心参数 · 发后即忘/同步/异步发送方式

客户端发送

生产者进阶

分区策略（轮询/哈希/自定义） · ACKS 可靠性 · 幂等性与事务

可靠性事务

消费者（Consumer）基础

消费者与消费组 · 订阅 Topic · 消息拉取模式 · 位移提交

消费者进阶

再均衡 (Rebalance) · 静态消费组 · 消费者拦截器 · 多线程消费模型

再均衡并发

Kafka 存储机制

日志文件结构 (.log/.index/.timeindex) · 分段策略 · 日志清理与压缩

副本机制与高可用

ISR 集合 · Leader/Follower 角色 · 故障检测与恢复 · 数据一致性

副本高可用

Kafka 网络模型

Reactor 模式 · 网络线程模型 · 请求处理流程 · 网络参数调优

Kafka 安全机制

SSL/TLS 加密 · SASL 认证 (PLAIN/SCRAM/Kerberos) · 授权 ACL

Kafka Connect 入门

Connect 架构 · Source/Sink Connector · 文件数据导入导出实战

Kafka Streams 入门

流处理概念 · Streams DSL 核心算子 · WordCount 实战

Kafka 监控与运维

JMX 监控指标 · Prometheus + Grafana 集成 · 常用运维脚本

Kafka 性能调优

操作系统参数 · JVM 调优 · Broker 参数 · 客户端参数调优

Kafka 与 Flink 集成

Flink Kafka Connector · Exactly-Once 语义 · 动态分区发现

Kafka 与 Spark Streaming 集成

Direct Stream 模式 · Offset 管理 · 背压机制

Kafka 与 ELK 集成

Filebeat + Kafka + Logstash + Elasticsearch 日志采集管道

Kafka 与数据库同步

Debezium CDC 原理 · MySQL Binlog 采集 · 数据入湖 (Hudi/Iceberg)

Kafka 消息治理

消息格式规范 (Avro/Protobuf) · Schema Registry · 兼容性策略

Kafka 延迟队列实现

时间轮算法 · 基于 Kafka 的延迟消息方案 · 生产实践

死信队列与重试机制

死信 Topic 设计 · 重试策略 · 消息轨迹追踪

Kafka 跨集群复制

MirrorMaker 2.0 架构 · 双向复制 · 集群迁移方案

Kafka 在微服务中的应用

事件驱动架构 · CQRS 模式 · Saga 事务实现

微服务事件驱动

Kafka 压力测试

kafka-producer-perf-test.sh · 测试指标分析 · 瓶颈定位

Kafka 常见故障排查

磁盘写满 · Leader 选举频繁 · 消费者 Lag 飙升 · OOM 问题

Kafka 版本升级

滚动升级策略 · 协议兼容性 · 升级前后对比验证

Kafka 生态全景与未来展望

Kafka vs Pulsar · KRaft 新特性 · 云原生 Kafka (Strimzi/Confluent Cloud)