VIP20

本课程属于：016-Kafka数据流平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Kafka数据流平台从零上手

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Kafka是什么、核心概念（Topic、Partition、Broker、Producer、Consumer）及应用场景（日志收集、流处理、事件溯源）。

Kafka集群搭建

环境准备（JDK、ZooKeeper），单机版与集群版安装配置，启动验证全流程。

Kafka核心概念详解

Topic与Partition关系、副本机制（Leader/Follower）、ISR机制、消息存储与索引结构。

Kafka生产者详解

客户端开发、同步/异步发送、分区策略、ACKS可靠性、幂等性与事务保证。

开发可靠性

Kafka消费者详解

消费者与消费者组、位移管理、再均衡机制、客户端开发及拉取提交策略。

Kafka高级特性

消息压缩、时间戳、拦截器、Kafka Streams与Connect简介。

Kafka监控与运维

JMX监控、Kafka Manager/Eagle工具、日志清理、集群扩缩容及故障排查。

日志收集系统设计、微服务消息解耦、与Spark/Flink集成案例。

Kafka安全机制

SSL/TLS加密、SASL认证（PLAIN/SCRAM/Kerberos）、ACL授权及安全最佳实践。

Kafka性能调优

生产者/消费者/Broker参数调优、操作系统层面优化及常见性能问题分析。

Kafka与ZooKeeper的依赖关系

ZooKeeper在Kafka中的作用、集群搭建、交互机制及选举原理。

Kafka消息存储机制

日志文件结构（.log/.index/.timeindex）、物理存储、LogSegment及日志清理压缩。

Kafka副本机制与高可用

副本分配策略、Leader选举、ISR/OSR、同步机制及数据一致性保证。

高可用副本

Kafka控制器（Controller）

Controller角色职责、选举流程、故障转移及分区Leader重分配。

Kafka延迟队列与定时消息

基于时间轮的延迟队列、原生方案、第三方扩展及应用场景与限制。

Kafka事务机制

事务背景、API使用、事务协调器、状态管理及与幂等性关系。

事务一致性

Kafka Streams入门

Streams架构、KStream/KTable/GlobalKTable、状态存储与窗口操作。

流处理入门

Kafka Streams实战

WordCount案例、实时ETL、流表连接、容错与状态恢复。

实战流处理

Kafka Connect入门

Connect架构（Source/Sink）、单机与分布式模式、常用Connector（FileStream/JDBC/ES）。

Kafka Connect实战

自定义Source/Sink Connector开发、配置部署及监控调优。

开发自定义

Kafka与Flink集成

Flink Kafka Connector、Exactly-Once语义、端到端一致性及动态分区发现。

Kafka与Spark Streaming集成

Spark Streaming数据源、Direct与Receiver对比、偏移量管理及背压机制。

Kafka与Spring Boot集成

Spring Kafka、@KafkaListener、消息转换器、KafkaTemplate及异步发送回调。

Spring微服务

Kafka与ELK集成

Filebeat采集日志到Kafka、Logstash消费、Elasticsearch索引及Kibana可视化。

Kafka跨集群复制（MirrorMaker）

MirrorMaker架构、2.0新特性、跨集群同步、双向复制与聚合。

跨集群复制

Kafka Schema Registry

Avro/Protobuf/JSON Schema、注册演化、兼容性检查及序列化器。

Schema序列化

Kafka REST Proxy

REST Proxy安装配置、HTTP生产/消费消息、安全配置及应用场景。

Kafka与Kubernetes集成

Strimzi Operator、K8s部署Kafka集群、存储网络配置及滚动升级扩缩容。

Kafka常见问题与解决方案

消息丢失/重复排查、消费积压、磁盘空间不足及网络延迟处理。

Kafka综合实战

构建完整实时数据管道：采集→Kafka→流处理→存储→可视化，覆盖全流程。

实战全流程