VIP20

本课程属于：028-数据平台调度系统 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时指标调度与Kafka集成实践

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

课程导学与背景

实时指标调度概述 · Kafka在实时架构中的位置 · 课程目标与前置知识

Kafka核心概念速览

Topic · Partition · Producer · Consumer · Broker · Offset

Kafka集群搭建与配置

单机与集群部署 · 关键参数调优 · JMX监控

生产者原理与API实践

发送流程 · 分区策略 · ACK机制 · 幂等性与事务

消费者原理与API实践

消费组与重平衡 · 位移提交 · Consumer API详解

消费者重平衡

Kafka Connect与Source/Sink

Connect框架 · FileStream Connector · JDBC Connector实战

Kafka Streams入门

流处理概念 · WordCount案例 · 状态存储与窗口操作

实时指标调度系统设计

调度器核心模型 · 任务依赖 · DAG调度

指标定义与元数据管理

指标注册 · 维度定义 · 数据血缘

元数据血缘

基于Kafka的指标采集层

日志采集 · 埋点上报 · Agent设计

实时ETL与数据清洗

JSON解析 · 字段过滤 · 脏数据处理

滑动窗口与滚动窗口聚合

Tumbling Window · Sliding Window · Session Window

复杂事件处理（CEP）入门

Flink CEP · Kafka Streams CEP · 模式匹配

指标计算引擎选型

Flink vs Spark Streaming vs Kafka Streams

Flink集成Kafka实战

FlinkKafkaConsumer · Checkpoint与Exactly-Once

FlinkExactly-Once

Spark Structured Streaming集成Kafka

StreamingQuery · Offset管理

指标存储层设计

Redis实时存储 · ClickHouse OLAP · InfluxDB时序

实时告警引擎

阈值告警 · 趋势告警 · 告警降噪与聚合

调度任务状态管理

Pending · Running · Success · Failed · 重试策略

状态机重试

Kafka消息可靠性保障

副本机制 · ISR · Leader选举 · 数据丢失场景

可靠性副本

Kafka性能调优实战

吞吐量优化 · 延迟优化 · 分区数选择

Kafka监控与运维

Kafka Manager · Burrow · Cruise Control

指标调度系统的容错与高可用

多副本调度 · 故障转移 · 幂等调度

高可用容错

数据一致性保障

Exactly-Once语义 · 幂等写入 · 两阶段提交

一致性事务

实时指标可视化

Grafana配置 · Superset集成 · 自定义Dashboard

可视化Dashboard

大规模集群下的Kafka挑战

分区再平衡 · 网络瓶颈 · 磁盘IO优化

大规模优化

Kafka安全实践

SSL加密 · SASL认证 · ACL权限控制

Kafka与云原生

Kafka on Kubernetes · Strimzi Operator · Auto Scaling

综合实战：构建实时指标调度平台（上）

架构整合 · 模块实现 · 核心流程串联

综合实战：构建实时指标调度平台（下）与总结

全链路压测 · 问题排查 · 课程回顾与进阶路径