VIP20

本课程属于：044-实时数仓建设 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Kafka实时数仓消息管道部署与运维

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Kafka入门：消息队列概念、Kafka核心特性、Kafka在实时数仓中的定位

从消息队列演进到Kafka生态，理解其高吞吐、持久化与实时数仓的桥梁作用。

Kafka核心概念：Topic、Partition、Offset、Broker、Producer、Consumer

深入剖析Kafka数据模型与分布式组件，掌握消息路由与偏移量管理。

Kafka集群部署：环境准备、Zookeeper安装、Kafka Broker配置、集群启动与验证

手把手搭建生产级Kafka集群，涵盖Zookeeper、Broker调优与健康检查。

Kafka生产者详解：发送流程、分区策略、ACK机制、重试机制

解析生产者内部架构，灵活配置分区与可靠性，确保消息不丢失。

生产者可靠性

Kafka消费者详解：消费组概念、Rebalance机制、位移提交、消费模式

掌握消费者组协调、再平衡与位移管理，实现高效且准确的消费。

消费者位移

Kafka存储机制：日志存储结构、Segment文件、索引文件、日志清理策略

探秘Kafka底层文件存储，理解Segment与索引如何支撑高性能读写。

Kafka高可用设计：副本机制、ISR列表、Leader选举、故障恢复

深入副本与ISR机制，保证集群在故障时秒级切换与数据一致。

高可用副本

Kafka消息可靠性：幂等性、事务机制、Exactly-Once语义

实现端到端精确一次语义，结合幂等与事务保障金融级可靠性。

可靠性事务

Kafka监控与运维：JMX监控、Kafka Eagle、常见故障排查

搭建可视化监控体系，快速定位分区倾斜、磁盘瓶颈等生产问题。

Kafka调优实战：参数调优、性能压测、常见问题解决

从操作系统到Broker参数，结合压测工具实现吞吐与延迟最佳平衡。

实时数仓架构演进：离线数仓 vs 实时数仓、Lambda架构、Kappa架构

对比离线与实时架构，剖析Lambda与Kappa的适用场景与设计取舍。

实时数仓分层设计：ODS层、DWD层、DWS层、ADS层

构建标准分层数仓，明确每层职责与数据流转，提升复用性。

Kafka Connect入门：Source Connector、Sink Connector、REST API

使用Kafka Connect无缝集成数据库、文件系统，简化数据管道。

Kafka Streams入门：流处理概念、KStream与KTable、状态存储

理解流处理核心抽象，掌握KStream/KTable与状态存储的用法。

Kafka Streams实战：WordCount、实时聚合、窗口操作

通过经典案例实现实时计数、滑动窗口与聚合，掌握DSL开发。

Kafka与Flink集成：Flink Kafka Connector、Source与Sink、Checkpoint

配置Flink与Kafka连接器，利用Checkpoint实现端到端一致性。

Flink实时ETL：数据清洗、字段映射、维表关联

基于Flink进行实时数据清洗与转换，异步维表关联提升性能。

Flink实时聚合：GroupBy、Window聚合、TopN计算

实现分组聚合、滚动/滑动窗口及实时TopN，支撑大屏与报表。

实时数仓ODS层建设：数据采集、消息格式设计、分区策略

设计统一消息格式与分区策略，高效采集业务数据入Kafka。

实时数仓DWD层建设：数据清洗、数据脱敏、数据标准化

对ODS数据进行精细化处理，构建干净、标准化的明细数据层。

实时数仓DWS层建设：宽表设计、预聚合、指标计算

设计大宽表与预聚合模型，加速多维分析与指标查询。

实时数仓ADS层建设：数据服务化、接口设计、数据同步

将结果数据以API或消息形式服务化，支撑业务系统实时调用。

实时数仓数据一致性：幂等写入、去重机制、回溯补偿

解决实时链路中的重复与乱序问题，通过回溯补偿保证最终一致。

一致性去重

实时数仓数据质量：数据校验、异常检测、告警机制

构建实时数据质量监控，自动校验、告警与异常修复。

实时数仓性能优化：并行度调优、背压处理、资源管理

从并行度、背压与资源维度优化实时作业，提升稳定性。

实时数仓案例实战：用户行为分析、实时大屏、实时报表

完整实现用户行为事件流分析，驱动大屏与报表实时刷新。

实时数仓案例实战：实时推荐系统、实时风控、实时监控

基于实时特征与规则引擎，构建推荐、风控与监控系统。

实时数仓与数据湖：Kafka + Hudi/Iceberg/Delta Lake集成

打通Kafka与数据湖，实现流批一体与ACID事务。

实时数仓未来趋势：云原生Kafka、Serverless、实时数据网格

展望云原生、Serverless与数据网格如何重塑实时数仓。

趋势云原生

课程总结与项目实战：从0到1搭建实时数仓项目

综合所有知识，完整搭建一个实时数仓项目，涵盖全链路。