VIP20
本课程属于：044-实时数仓建设 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Flink实时数仓DWS聚合指标与宽表建模

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
DWS层概述
实时数仓分层架构、DWS层定位与职责、DWS与DWD/DIM/ADS的关系。
分层职责架构
02
实时聚合核心概念
事件时间与处理时间、水位线(Watermark)、窗口类型(Tumble/Hop/Session)。
时间语义Watermark窗口
03
Flink SQL聚合基础
GROUP BY语法、TUMBLE窗口函数、HOP窗口函数、SESSION窗口函数。
SQL窗口函数聚合
04
DWS层宽表设计
维度退化策略、度量值预计算、字典编码与压缩、主键设计原则。
宽表维度退化压缩
05
实时去重计数
HyperLogLog原理、Bitmap精确去重、Flink SQL COUNT DISTINCT优化、布隆过滤器应用。
去重HLLBitmap
06
复杂事件处理(CEP)
CEP模式定义、时间约束与循环模式、Flink CEP与DWS聚合结合、实战案例：用户路径分析。
CEP模式匹配路径分析
07
状态后端与容错
RocksDB状态后端调优、Checkpoint机制、Savepoint与版本升级、状态TTL配置。
状态后端CheckpointTTL
08
数据一致性保障
端到端Exactly-Once、幂等写入、两阶段提交Sink、Changelog流处理。
一致性Exactly-Once幂等
09
DWS层性能优化
MiniBatch与LocalGlobal聚合、SkewJoin优化、算子链与并行度调整、数据倾斜处理。
性能MiniBatch数据倾斜
10
实时指标监控
Metrics Reporter配置、自定义监控指标、Prometheus+Grafana集成、告警规则设计。
监控Prometheus告警
11
DWS层数据服务化
维表Join(HBase/Redis)、异步IO查询、旁路缓存策略、热点Key处理。
维表Join异步IO缓存
12
多流Join实践
Regular Join、Interval Join、Temporal Join、Lookup Join场景与选型。
JoinIntervalTemporal
13
实时ETL与数据清洗
脏数据处理策略、字段补齐与转换、事件时间对齐、数据质量监控。
ETL数据清洗质量
14
DWS层存储选型
消息队列(Kafka)、OLAP引擎(ClickHouse/Doris)、KV存储(HBase/Redis)、选型对比。
存储KafkaOLAP
15
Kafka与DWS集成
Topic设计规范、分区策略、消息格式(Avro/JSON/Protobuf)、Schema Registry。
KafkaSchema序列化
16
ClickHouse在DWS的应用
MergeTree引擎选择、物化视图设计、实时写入优化、查询性能调优。
ClickHouse物化视图写入优化
17
Apache Doris在DWS的应用
Unique/聚合模型选择、Rollup与物化视图、Stream Load写入、查询路由。
DorisRollupStream Load
18
实时数仓数据治理
血缘追踪、数据质量规则、元数据管理、数据生命周期管理。
治理血缘元数据
19
DWS层自动化测试
单元测试框架、集成测试环境搭建、数据比对工具、回归测试策略。
测试单元测试回归
20
CI/CD与部署
Flink作业打包、版本管理、灰度发布、回滚策略、配置中心集成。
CI/CD部署灰度
21
资源管理与调度
YARN/K8s资源分配、动态扩缩容、TaskManager内存配置、网络与IO优化。
资源K8s扩缩容
22
实时数仓安全
数据脱敏、访问控制、审计日志、加密传输与存储。
安全脱敏审计
23
DWS层成本优化
计算资源弹性、存储压缩比、数据冷热分层、查询降级策略。
成本冷热分层降级
24
实时数仓架构演进
Lambda架构、Kappa架构、流批一体、DataLakehouse融合。
架构Lambda流批一体
25
DWS层设计案例：电商
实时GMV、用户实时活跃、实时风控、实时推荐特征。
电商GMV风控
26
DWS层设计案例：金融
实时交易监控、实时反欺诈、实时流动性管理。
金融反欺诈流动性
27
DWS层设计案例：物联网
设备实时监控、实时告警、实时能耗分析。
IoT监控能耗
28
DWS层设计案例：游戏
实时运营、实时排行榜、实时付费分析。
游戏排行榜付费
29
DWS层设计案例：广告
实时计费、实时效果分析、实时反作弊。
广告计费反作弊
30
DWS层未来趋势
AI for Real-time、Serverless实时数仓、实时数据网格、实时数据编织。
趋势Serverless数据网格