VIP20

本课程属于：028-数据平台调度系统 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Kafka消息驱动任务调度实践

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

消息队列概念、Kafka发展史、核心优势与应用场景分析，奠定扎实基础。

Kafka核心概念

Topic、Partition、Broker、Producer、Consumer、Consumer Group 深度详解。

Kafka集群部署

单机部署、集群搭建、ZooKeeper角色、KRaft模式介绍，生产就绪。

发送流程、同步/异步发送、acks机制、retries重试、幂等性保证。

生产者可靠性

消费模式、offset提交、自动/手动提交、再均衡监听器实战。

消费者偏移量

Kafka存储机制

日志存储结构、Segment文件、索引文件、日志清理策略解析。

Kafka高可用设计

副本机制、ISR集合、Leader选举、故障恢复与数据一致性。

高可用副本

Kafka消息可靠性

Exactly-Once语义、事务消息、幂等生产者实战，端到端可靠。

可靠性事务

Kafka性能调优

参数调优、批量发送、压缩算法、内存调优，提升吞吐与延迟。

Kafka监控与运维

JMX监控、Kafka Eagle、日志管理、集群扩容与日常运维。

任务调度基础

调度系统概念、常见调度框架对比、Kafka驱动调度优势分析。

消息驱动架构

事件驱动架构、消息驱动 vs 定时调度、解耦设计原则。

Spring Boot集成Kafka

依赖配置、生产者模板、消费者监听器，快速集成开发。

任务消息设计

消息格式规范、任务ID生成、状态枚举、优先级设计。

任务生产者实现

任务创建、消息发送、回调处理、异常重试机制。

生产者实现

任务消费者实现

消息消费、任务执行、结果回调、失败处理策略。

消费者实现

任务状态管理

状态流转设计、数据库表设计、状态更新策略。

任务超时处理

超时检测机制、延迟队列、死信队列、补偿任务。

任务依赖调度

DAG依赖图、前置任务检查、拓扑排序、循环依赖检测。

任务分片执行

分片策略、并行消费、结果聚合、负载均衡。

任务调度可视化

Web界面设计、任务列表、执行日志、实时监控。

可视化监控

任务调度高可用

多消费者组、故障转移、幂等执行、去重机制。

高可用容错

任务调度安全

认证授权、消息加密、访问控制、审计日志。

任务调度测试

单元测试、集成测试、压力测试、混沌工程实践。

Kafka Streams入门

流处理概念、KStream/KTable、状态存储、窗口操作。

流处理Streams

Kafka Connect实战

Source Connector、Sink Connector、单机/分布式模式。

Kafka与Flink集成

Flink Kafka Connector、Checkpoint、端到端Exactly-Once。

Kafka与Spark集成

Spark Streaming、Structured Streaming、Direct Stream。

Kafka生产环境案例

日志采集系统、实时计算平台、微服务异步通信。

Kafka未来趋势

云原生Kafka、Serverless Kafka、Kafka与AI结合。