VIP20

本课程属于：031-埋点与事件治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Kafka实时接入事件流实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Kafka发展史、核心概念（Topic、Partition、Broker）、应用场景与生态。

Kafka安装与部署

单机模式安装、ZooKeeper配置、Kafka Server配置、启动与验证。

生产者基础

Producer API使用、消息发送方式（同步/异步）、acks与retries配置。

生产者进阶

分区策略、自定义Partitioner、消息键与顺序保证、幂等性与事务。

消费者基础

Consumer API使用、消费组概念、offset提交方式（自动/手动）。

消费者进阶

再均衡机制、消费者协调器、分区分配策略（Range/RoundRobin/Sticky）。

再均衡分配

创建/删除Topic、分区扩容、副本因子调整、日志分段与清理策略。

Kafka存储机制

日志文件结构、索引文件、日志分段（Segment）、日志压缩（Compact）。

Kafka高可用设计

副本机制（Leader/Follower）、ISR集合、HW与LEO、故障恢复。

高可用副本

Kafka网络模型

Reactor模式、Acceptor与Processor、请求处理流程、网络参数调优。

Kafka监控与运维

JMX指标、Kafka Eagle/Burrow、日志查看、常见故障排查。

Source/Sink Connector概念、FileStream Connector实战、REST API管理。

流处理概念、KStream/KTable/GlobalKTable、状态存储与窗口操作。

流处理状态

Kafka Streams实战

WordCount案例、Join操作、聚合操作、DSL与Processor API。

Kafka与Spring Boot集成

Spring Kafka配置、@KafkaListener注解、消息转换器。

Kafka与Flink集成

Flink Kafka Consumer/Source、Checkpoint与Exactly-Once语义。

FlinkExactly-Once

Kafka与Spark Streaming集成

Direct Stream方式、offset管理、性能调优。

Kafka安全机制

SSL/TLS加密、SASL认证（PLAIN/SCRAM/Kerberos）、ACL授权。

Kafka跨集群复制

MirrorMaker 2.0架构、双向复制、Topic映射与偏移同步。

跨集群复制

Kafka性能调优

生产者/消费者参数调优、JVM调优、操作系统调优、基准测试。

Kafka消息可靠性

幂等生产者、事务API、Exactly-Once语义实现、常见陷阱。

可靠性事务

Kafka延迟与吞吐

批处理与压缩、缓冲区调优、网络延迟优化、Page Cache利用。

Kafka与Kubernetes

Strimzi Operator部署、Kafka CRD、持久化存储配置。

Kafka Schema Registry

Avro序列化、Schema兼容性、REST API、与Kafka集成。

Kafka REST Proxy

Confluent REST Proxy部署、生产/消费消息、与HTTP客户端集成。

Kafka与日志采集

Filebeat/Kafka集成、Logstash Kafka插件、ELK+Kafka架构。

Kafka与微服务

事件驱动架构、CQRS模式、Saga模式、Kafka作为事件总线。

微服务事件驱动

Kafka实战案例

电商订单系统、用户行为追踪、实时风控、物联网数据采集。

Kafka故障排查

常见错误码、日志分析、性能瓶颈定位、内存泄漏排查。

Kafka未来趋势

Kafka 4.0新特性、KRaft模式、分层存储、Kafka与AI结合。