VIP20
本课程属于：044-实时数仓建设 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Flink实时宽表构建与关联性能优化

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
宽表基础认知
宽表定义、与星型/雪花模型对比，适用场景与局限性分析。
概念建模
02
实时宽表技术选型
Flink vs Spark Streaming，Kafka/Pulsar 消息队列，OLAP 存储选型对比。
选型架构
03
实时宽表架构设计
Lambda 与 Kappa 架构，ODS/DWD/DWS/ADS 分层，通用构建流程。
架构分层
04
Flink SQL 核心基础
环境搭建，Table & SQL API，动态表与连续查询概念。
FlinkSQL
05
Flink SQL 维表关联
Temporal Table Join、Lookup Join，全量/LRU 缓存策略。
维表Join
06
Flink SQL 多流 Join
Regular Join、Interval Join、Window Join 实战与调优。
多流调优
07
Flink SQL 聚合与窗口
Tumble/Hop/Cumulate 窗口，Over 窗口，Top-N 与去重。
窗口聚合
08
Flink CDC 实时同步
MySQL CDC 原理，Flink CDC Connector，全量+增量策略。
CDC同步
09
实时宽表数据建模
字段设计原则，维度退化策略，度量值预计算。
建模维度
10
状态管理与容错
Flink State 原理，Checkpoint/Savepoint，RocksDB/Heap 后端。
状态容错
11
实时宽表数据一致性
Exactly-Once 语义，端到端一致性，幂等写入与回滚。
一致性Exactly-Once
12
ClickHouse 基础与表引擎
MergeTree 家族，ReplicatedMergeTree，Distributed 表原理。
ClickHouse引擎
13
ClickHouse 实时写入优化
批量写入，分区与索引设计，写入限速与背压处理。
写入优化
14
Doris/StarRocks 基础
数据模型 (Duplicate/Unique/Aggregate)，Rollup 与物化视图，实时导入。
DorisStarRocks
15
实时宽表性能调优
Flink 并行度优化，数据倾斜处理，算子链与资源分配。
调优性能
16
实时宽表数据质量监控
完整性校验，延迟监控，异常告警体系搭建。
监控质量
17
实时宽表数据回溯
历史数据重跑机制，回溯窗口选择，数据订正方案。
回溯订正
18
实时宽表元数据管理
Schema Registry，字段血缘追踪，版本管理。
元数据血缘
19
实时宽表测试策略
单元测试、集成测试、端到端测试、压测方案。
测试压测
20
实时宽表部署与运维
Kubernetes 部署 Flink，Prometheus+Grafana 监控，日志收集。
部署运维
21
案例一：用户行为分析宽表
埋点日志 + 用户维表 + 商品维表，构建用户行为宽表。
案例用户行为
22
案例二：订单交易宽表
订单流 + 支付流 + 物流流 + 商家维表，实时交易宽表。
案例订单
23
案例三：实时风控宽表
设备指纹 + 行为序列 + 规则引擎，风控场景宽表。
案例风控
24
案例四：实时推荐宽表
用户画像 + 物品特征 + 实时行为，推荐系统宽表。
案例推荐
25
案例五：实时大屏宽表
多维度聚合 + 秒级刷新 + 下钻分析，大屏展示宽表。
案例大屏
26
进阶：CEP 与动态规则宽表
复杂事件处理与宽表结合，动态规则实时宽表。
CEP进阶
27
进阶：乱序处理与 Watermark
多流关联乱序处理，Watermark 策略与 Idle Source。
Watermark乱序
28
进阶：数据湖与实时宽表
Iceberg/Hudi/Delta Lake 结合 Flink 构建宽表。
数据湖进阶
29
进阶：云原生实时宽表
Serverless Flink + 云原生数仓，弹性实时宽表。
云原生Serverless
30
总结与展望
最佳实践总结，未来趋势：流式数仓、AI 辅助建模。
总结趋势