VIP20
本课程属于：091-Confluent Kafka实时数据平台工程 后端、数据与云原生工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Confluent Kafka批流数据管道与任务编排

共计 30 章节
可可资料掘金营 · 点击在线试看
01
Confluent Kafka批流管道全景
目标=理解批处理与流处理的统一架构 · 核心组件 · 典型应用场景与课程实战项目目标
ConfluentKafka
02
Kafka主题与分区设计
目标=掌握主题创建 · 分区策略 · 副本机制
Kafka主题
03
生产者与消费者基础
目标=编写Java/Python生产… · 理解序列化 · 反序列化
生产者消费者基础
04
Schema Registry与数据契约
目标=使用Avro/Protobuf… · 通过Schema Registry实… · 完成数据序列化实战
SchemaRegistry
05
Kafka Connect批流接入
目标=部署Connect集群 · 配置FileStream · JDBC
KafkaConnect
06
Kafka Connect数据导出
目标=配置Sink连接器将Kafka… · 数据仓库或关系数据库 · 并处理死信队列与错误重试
KafkaConnect
07
单消息转换与轻量处理
目标=使用SMT在Connect管道… · 脱敏 · 路由
单消息转换轻量处理
08
Kafka Streams核心概念
目标=理解拓扑 · KStream · KTable
KafkaStreams
09
Kafka Streams聚合与连接
目标=实现分组聚合 · 窗口聚合 · 流-流连接
KafkaStreams
10
Kafka Streams状态管理与容错
目标=配置状态存储 · 变更日志主题 · 恰好一次语义
KafkaStreams
11
ksqlDB交互式查询
目标=使用ksqlDB创建流 · 表 · 持久化查询
ksqlDB交互式查询
12
ksqlDB高级操作
目标=执行流-表连接 · 时间窗口聚合 · 用户定义函数
ksqlDB高级操作
13
批处理与流处理统一
目标=使用Confluent Clo… · 设计Lambda架构与Kappa架构 · 实现批流一体的数据管道
批处理流处理统一
14
Kafka Connect与Kafka Streams集成
目标=将Connect采集的数据通过… · 再写回Kafka或外部系统 · 完成端到端管道
KafkaConnect
15
任务编排基础
目标=理解Airflow · Confluent Control… · Kafka Connect REST…
任务编排基础Airflow
16
Airflow编排Kafka管道
目标=编写DAG调度Kafka生产者 · 消费者 · Connect任务与Streams应…
AirflowKafka
17
Confluent Control Center监控
目标=使用Control Cente… · 消费者延迟 · Connect任务状态与Stream…
ConfluentControl
18
管道可观测性与日志
目标=集成Prometheus · Grafana · ELK
管道可观测性日志
19
错误处理与死信队列
目标=设计重试策略 · 死信主题 · 错误处理拓扑
错误处理死信队列
20
数据质量与校验
目标=在管道中嵌入数据质量检查 · 使用Schema校验 · 自定义校验逻辑与异常数据分流
数据质量校验
21
性能调优与容量规划
目标=优化生产者批大小 · 压缩 · 消费者拉取
性能调优容量规划
22
安全与权限管理
目标=配置SSL/SASL认证 · ACL授权 · RBAC角色
安全权限管理
23
多集群与跨数据中心复制
目标=使用MirrorMaker 2… · 设计灾备与数据迁移方案
多集群跨数据
24
云原生部署与运维
目标=在Kubernetes上部署C… · 使用Operator管理Kafka · Connect
云原生部署运维
25
实战项目一
目标=实时点击流管道 · 使用Streams进行会话窗口分析 · 结果写入Elasticsearch并…
实战项目一目标=实时点击流…
26
实战项目二
目标=数据库变更捕获管道 · 通过Connect与Streams处… · 实时同步到数据仓库
实战项目二目标=数据库变更…
27
实战项目三
目标=批流一体数据湖管道 · 同时用Streams进行实时聚合 · 实现批流统一存储
实战项目三目标=批流一体数…
28
实战项目四
目标=任务编排与调度 · Streams应用与ksqlDB查询 · 构建每日批处理与实时处理混合管道
实战项目四目标=任务编排
29
管道测试与CI/CD
目标=编写单元测试 · 集成测试 · 使用Testcontainers模拟…
CI/CD管道测试
30
课程总结与前沿展望
目标=回顾核心技能 · 探讨Kafka在实时数据湖 · 流批一体
课程总结前沿展望