VIP20

本课程属于：004-Kafka数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Kafka生产消费机制与消息可靠性开发

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

什么是Kafka、Kafka发展历史、Kafka核心特性、Kafka应用场景。

Broker、Producer、Consumer、Topic、Partition、Offset概念详解。

Kafka安装与部署

单机模式安装、集群模式部署、ZooKeeper角色、KRaft模式介绍。

Kafka命令行操作

Topic管理命令、生产者命令行、消费者命令行、查看消费组状态。

Kafka生产者详解

发送流程、同步/异步发送、acks参数、retries重试机制、幂等性。

生产者参数

Kafka消费者详解

消费组概念、分区分配策略、offset提交方式、自动/手动提交。

消费者offset

Kafka存储机制

日志存储结构、Segment文件、索引文件、日志清理策略。

Kafka可靠性保证

副本机制、ISR机制、Leader选举、数据一致性。

可靠性副本

Kafka高级特性

事务消息、Exactly-Once语义、Kafka Streams简介。

Kafka监控与运维

JMX监控、Kafka Manager、常见故障排查。

Kafka与Spring Boot集成

Spring Kafka配置、@KafkaListener使用、消息转换。

Source Connector、Sink Connector、单机/分布式模式。

Connect数据集成

Kafka Schema Registry

Avro序列化、Schema兼容性、Schema演进。

Kafka安全机制

SSL/TLS加密、SASL认证、ACL权限控制。

Kafka性能调优

生产者参数调优、消费者参数调优、Broker参数调优、操作系统调优。

Kafka与Flume集成

Flume Source配置、Flume Sink配置、实时日志采集。

Kafka与Spark Streaming集成

Direct Stream方式、offset管理、背压机制。

Kafka与Flink集成

Flink Kafka Connector、Checkpoint与offset、端到端Exactly-Once。

FlinkExactly-Once

Kafka与ELK集成

Filebeat采集、Logstash消费、Kafka作为缓冲层。

Kafka MirrorMaker

跨集群数据同步、双向复制、灾难恢复方案。

跨集群灾备

Kafka REST Proxy

HTTP接口访问Kafka、生产/消费消息、适用场景。

流式SQL查询、实时数据处理、KSQL与Kafka Streams对比。

Kafka延迟队列实现

基于时间戳的延迟、基于Topic的延迟、应用场景。

延迟队列设计

Kafka死信队列

死信产生原因、死信处理策略、重试机制设计。

Kafka消息顺序性

分区内有序、全局有序方案、顺序性代价分析。

Kafka消息积压处理

积压原因分析、扩容方案、限流策略、紧急处理流程。

Kafka集群扩容

新增Broker、分区重分配、数据迁移、负载均衡。

Kafka日志压缩

Log Compaction原理、应用场景、配置参数、与日志删除区别。

Kafka与Pulsar对比

架构差异、性能对比、功能对比、选型建议。

Kafka实战项目

电商订单系统、用户行为追踪、日志聚合平台、实时指标计算。

专注课程资料整理