VIP20

本课程属于：016-Kafka数据流平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Kafka流处理应用快速构建

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Kafka是什么、消息队列模型、核心概念（Topic、Partition、Broker、Producer、Consumer）及应用场景。

Kafka安装与配置

单机与集群模式安装、ZooKeeper依赖、关键配置文件详解及启动验证。

Kafka命令行操作

创建Topic、查看列表、生产与消费消息、查看消费组状态等常用命令。

Kafka Java Producer API

Producer核心参数、同步/异步发送、回调函数与分区策略详解。

Kafka Java Consumer API

Consumer核心参数、订阅与分配、自动/手动位移提交及再均衡监听器。

Kafka Streams入门

Streams概念、与传统Consumer/Producer的区别及Streams应用架构。

流处理架构

Kafka Streams开发环境搭建

Maven依赖、项目结构及Hello World流处理应用快速上手。

Kafka Streams核心概念

Stream、Table、KStream、KTable、GlobalKTable及StreamsBuilder详解。

Kafka Streams状态操作

无状态操作（map、filter、flatMap）与有状态操作（count、reduce、aggregate）。

Kafka Streams窗口操作

滚动、跳跃、滑动、会话窗口及窗口时间语义详解。

Kafka Streams Join操作

Stream-Stream、Stream-Table、Table-Table Join及外键Join实战。

Kafka Streams状态存储

RocksDB、InMemory状态存储类型，自定义存储及状态查询。

Kafka Streams处理器API

Processor API vs DSL API，自定义Processor及Punctuator定时器。

Kafka Streams拓扑结构

拓扑构建、子拓扑、全局拓扑及拓扑可视化方法。

Kafka Streams序列化与反序列化

Serde机制、自定义Serde及Avro/Protobuf集成方案。

Kafka Streams容错机制

任务备份、状态存储备份、Exactly-Once语义及事务性Producer。

容错Exactly-Once

Kafka Streams监控与运维

JMX指标、线程模型、Lag监控及日志诊断实践。

Kafka Connect入门

Connect架构、Source/Sink Connector及单机与分布式模式。

Kafka Connect开发

自定义Source/Sink Connector、Converter与Transformation开发。

开发自定义

Kafka Connect REST API

连接器与任务管理、配置验证及状态监控接口。

Kafka Schema Registry

Schema Registry作用、Avro Schema定义、兼容性检查与演进。

Kafka REST Proxy

REST Proxy架构、生产/消费消息及与Schema Registry集成。

Kafka安全机制

SSL/TLS加密、SASL认证（PLAIN/SCRAM/Kerberos）及ACL授权。

Kafka性能调优

Producer、Consumer及Broker端核心参数调优实践。

Kafka日志管理

日志存储结构、清理策略（delete/compact）、日志索引与段管理。

Kafka副本机制

ISR机制、Leader选举、副本同步及最小同步副本配置。

副本高可用

Kafka跨集群复制

MirrorMaker2架构、双向复制、Topic映射与偏移量同步。

跨集群复制

Kafka与流处理框架集成

Kafka + Flink、Spark Streaming及Storm对比与集成实践。

Kafka实战案例一：实时日志收集系统

Filebeat + Kafka + Logstash + Elasticsearch构建端到端日志管道。

Kafka实战案例二：实时订单处理系统

Kafka Streams实现订单聚合、风控检测与实时报表。