VIP20

本课程属于：044-实时数仓建设 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Flink实时数仓平台搭建与分层实施

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实时数仓概述

什么是实时数仓、实时数仓与离线数仓的区别、实时数仓的应用场景。

技术选型与架构设计

主流实时技术栈对比（Flink、Kafka、ClickHouse、Doris）、Lambda架构与Kappa架构。

Linux基础环境搭建、Docker与Docker Compose安装、JDK与Maven配置。

Kafka核心原理与集群部署

Kafka架构、Topic与Partition、生产者与消费者、Kafka集群搭建。

消息队列集群

Flink基础与开发环境搭建

Flink架构、Flink on YARN部署模式、Flink开发环境（IDEA+Maven）配置。

计算引擎环境

Flink DataStream API实战

Source、Transformation、Sink、自定义算子。

Flink时间语义与Watermark

EventTime与ProcessingTime、Watermark机制、乱序数据处理。

时间语义乱序

Flink状态管理与容错机制

Keyed State与Operator State、Checkpoint与Savepoint、状态后端配置。

Flink Table & SQL

动态表概念、Flink SQL开发、CDC数据同步。

实时数仓分层架构设计

ODS、DWD、DWS、ADS分层详解、数据流向设计。

数据采集层（ODS）实战

Kafka Connect采集MySQL Binlog、Canal与Debezium对比、数据入Kafka。

数据清洗与转换层（DWD）实战

Flink SQL清洗数据、维度表关联（Lookup Join）、数据格式统一。

数据聚合层（DWS）实战

滚动窗口与滑动窗口聚合、双流Join、TopN计算。

数据应用层（ADS）实战

ClickHouse表引擎选择、物化视图、Flink写入ClickHouse。

实时数仓核心指标计算

实时PV/UV、实时GMV、实时用户留存。

实时数仓维度建模

星型模型与雪花模型、缓慢变化维（SCD）处理、字典表设计。

实时数仓数据质量保障

数据完整性校验、去重策略（精确去重与近似去重）、异常数据监控。

实时数仓性能优化

Flink反压处理、Kafka吞吐量调优、ClickHouse查询优化。

实时数仓监控与告警

Prometheus+Grafana监控Flink与Kafka、自定义告警规则。

实时数仓数据回溯

历史数据重跑、Checkpoint恢复、数据补偿策略。

实时数仓安全与权限管理

Kafka ACL、Flink SQL权限控制、ClickHouse RBAC。

实时数仓CI/CD实践

GitLab CI自动化部署、Flink Job版本管理、Kafka配置管理。

实时数仓数据湖集成

Flink与Hudi/Iceberg集成、实时入湖、湖仓一体架构。

数据湖集成

实时数仓多流关联实战

Interval Join、Temporal Join、Regular Join对比与选型。

实时数仓复杂事件处理（CEP）

Flink CEP模式定义、超时与匹配策略、风控场景实战。

实时数仓数据服务化

Flink写入Redis/Elasticsearch、API网关设计、数据接口封装。

实时数仓大屏可视化

WebSocket实时推送、ECharts动态图表、大屏数据展示方案。

可视化大屏

实时数仓全链路压测

压测工具选型（JMeter/Locust）、数据模拟器开发、瓶颈分析。

实时数仓故障排查与恢复

常见故障类型、日志分析、Flink Job重启策略。

项目实战：电商实时数仓完整搭建

从需求分析到上线运维，完整电商实时数仓搭建全流程。