VIP20
本课程属于：026-数据湖治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

实时指标开发与数据湖集成方案

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
实时指标概述
定义、应用场景（风控、大屏、监控）与传统离线指标的区别，建立实时思维。
概念场景
02
实时计算基础
Flink核心概念：DataStream、算子、状态，开发环境搭建与第一个实时作业。
Flink环境
03
Flink时间语义与Watermark
Event Time、Processing Time、Watermark机制与乱序处理策略。
时间语义乱序
04
Flink窗口计算
滚动窗口、滑动窗口、会话窗口，以及窗口函数的实战应用。
窗口聚合
05
Flink状态管理与容错
Keyed State、Operator State、Checkpoint与Savepoint机制详解。
状态容错
06
Flink SQL入门
动态表、流表转换、维表Join，以及常见SQL语法与实战。
SQL流表
07
实时指标开发实战（一）
PV/UV统计——使用Flink实现页面访问量实时统计。
PV/UV实战
08
实时指标开发实战（二）
用户留存分析——基于Flink实现次日/7日留存计算。
留存实战
09
实时指标开发实战（三）
实时排行榜——使用Flink TopN功能实现热门商品排行。
TopN排行
10
实时指标开发实战（四）
复杂事件处理（CEP）——检测用户异常行为序列。
CEP异常检测
11
数据湖概念与选型
数据湖定义、Delta Lake / Apache Iceberg / Apache Hudi对比。
数据湖选型
12
Apache Iceberg核心原理
表格式、快照隔离、ACID事务、时间旅行等核心机制。
Iceberg原理
13
Apache Hudi核心原理
Copy-on-Write与Merge-on-Read、索引机制、增量查询。
Hudi原理
14
Delta Lake核心原理
事务日志、Schema演进、数据版本管理。
Delta原理
15
Flink与Iceberg集成
Flink写入Iceberg表、流读Iceberg表、Exactly-Once保证。
集成Iceberg
16
Flink与Hudi集成
Flink写入Hudi表、增量拉取、Bucket索引优化。
集成Hudi
17
Flink与Delta Lake集成
Flink写入Delta表、Delta Connector配置与调优。
集成Delta
18
实时数据入湖架构设计
Kafka -> Flink -> 数据湖的端到端链路搭建。
架构入湖
19
实时指标存储选型
ClickHouse、Doris、HBase在实时指标查询中的对比。
存储选型
20
实时指标服务化
使用Flink将计算结果写入Redis/MySQL，对外提供API查询。
服务化API
21
实时数据质量监控
数据延迟监控、数据丢失检测、数据完整性校验。
质量监控
22
实时任务监控与告警
Flink Metrics、Prometheus + Grafana监控体系搭建。
监控告警
23
实时计算性能调优
并行度设置、反压处理、算子链优化、资源参数调整。
调优性能
24
数据湖性能调优
Iceberg Compaction、Hudi Clustering、小文件合并策略。
调优数据湖
25
实时数仓分层设计
ODS/DWD/DWS/ADS在实时场景下的落地实践。
数仓分层
26
实时维度表关联
使用Flink Async IO关联MySQL/Redis，以及维表缓存策略。
维表Async IO
27
实时指标回溯计算
基于数据湖时间旅行功能，对历史数据进行重算。
回溯时间旅行
28
多流Join与双流Join
Flink中Regular Join、Interval Join、Window Join实战。
Join双流
29
实时数据湖安全与权限
数据湖的访问控制、数据脱敏、审计日志。
安全权限
30
综合实战：实时用户画像系统
从Kafka消费、Flink计算、入湖存储到指标服务全流程。
实战用户画像