VIP20

本课程属于：044-实时数仓建设 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时数仓ODS至ADS分层架构设计

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实时数仓概述

实时数仓与传统离线数仓的区别、应用场景及技术选型全景解析。

实时数仓分层架构

ODS、DWD、DWS、ADS 各层职责与数据流转，构建分层体系。

ODS层设计原则

数据源接入、全量/增量同步策略、数据格式统一等核心设计要点。

ODS层实战：Kafka实时接入

基于 Kafka 的实时数据接入，JSON/AVRO 格式处理与序列化。

ODS层实战：Canal Binlog采集

使用 Canal 实时采集 MySQL Binlog，同步变更数据至 ODS。

ODS层实战：Flume日志采集

Flume 日志采集与 Kafka 集成，构建高吞吐日志管道。

ODS层实战：数据质量监控

数据质量监控与异常处理机制，保障 ODS 层数据可靠性。

DWD层设计原则

数据清洗、脱敏、标准化等 DWD 层核心设计规范。

DWD层实战：Flink SQL ETL

使用 Flink SQL 进行实时 ETL，实现高效数据转换。

DWD层实战：维度退化与拉链表

维度退化策略与拉链表设计，管理缓慢变化维度。

维度拉链表

DWD层实战：事实表设计

事务事实表与周期快照事实表的设计方法与适用场景。

事实表快照

DWD层实战：多流Join与维表关联

多流 Join 及 Lookup Join 维表关联，实现复杂数据关联。

DWD层实战：Watermark与乱序

水位线机制与乱序数据处理，保障事件时间准确性。

Watermark乱序

DWS层设计原则

轻度汇总、公共指标沉淀与数据复用设计思想。

DWS层实战：窗口聚合计算

基于 Flink 的 Tumble/Hop/Over 窗口实时聚合计算。

DWS层实战：用户行为宽表

用户行为宽表设计，整合多维度行为数据。

DWS层实战：UV/PV与去重

实时 UV/PV 统计及 HyperLogLog 去重方案。

DWS层实战：实时TopN

实时 TopN 与排序计算，快速获取排行榜数据。

DWS层实战：实时漏斗分析

基于事件流的实时漏斗分析，洞察用户转化路径。

DWS层实战：实时留存分析

实时留存分析，衡量用户粘性与回访趋势。

DWS层实战：实时大屏接口

实时大屏数据接口设计，支撑可视化展示。

数据存储选型对比

Kafka、ClickHouse、Doris、HBase 特性对比与选型建议。

Lambda与Kappa架构

实时数仓与离线数仓融合，Lambda 与 Kappa 架构解析。

实时数仓监控与运维

Flink 作业监控、数据延迟告警，保障实时链路稳定。

实时数仓数据回溯

历史数据重跑与补偿机制，应对数据修复场景。

实时数仓性能优化

Flink 调优、并行度设置、状态后端选择等优化实践。

调优状态后端

案例：电商实时GMV统计

电商场景实时 GMV 统计，从 ODS 到 DWS 完整实现。

案例：实时用户画像标签

实时用户画像标签计算，构建动态标签体系。

案例：实时风控规则引擎

实时风控规则引擎，基于事件流进行风险决策。

风控规则引擎

实时数仓未来趋势

流批一体、数据湖与实时数仓结合，展望技术演进。

趋势数据湖