01
实时数仓概述
实时数仓与传统数仓的区别、应用场景及技术选型，从批到流的核心演进。
实时架构选型
02
维度建模基础回顾
星型模型与雪花模型、事实表与维度表、缓慢变化维(SCD)处理策略。
星型模型SCD
03
实时场景下的维度建模挑战
延迟与一致性权衡、实时维度更新策略、事件时间与处理时间。
一致性事件时间
04
实时数据源接入
Kafka实时总线、Canal/Maxwell采集Binlog、日志采集与Schema Registry。
KafkaBinlog
05
实时ETL与数据清洗
Flink SQL基础、过滤转换、Watermark机制与乱序处理。
Flink SQLWatermark
06
实时维度表构建
HBase/Redis存储、Lookup Join、维度变更捕获与广播。
维度表Lookup
07
实时事实表构建
流式聚合与窗口、去重精确一次、双流Join与Interval Join。
事实表双流Join
08
实时数仓分层架构
ODS/DWD/DWS/ADS分层、实时与离线分层异同、数据血缘与回溯。
分层血缘
09
实时指标计算
PV/UV统计、GMV计算、留存率与漏斗分析。
指标漏斗
10
实时数据服务
API接口设计、ClickHouse/Doris对接、实时大屏推送。
OLAP大屏
11
状态管理与容错
RocksDB/Heap状态后端、Checkpoint与Savepoint、端到端Exactly-Once。
状态容错
12
实时任务监控与告警
Flink Metrics、任务延迟监控、数据质量告警规则。
监控告警
13
实时数仓与离线数仓的融合
Lambda/Kappa架构、实时数据回流Hive、统一元数据管理。
LambdaKappa
14
实时场景下的数据一致性
幂等写入、Hudi/Iceberg事务表、最终一致性保证。
一致性事务表
15
电商订单 · 维度建模案例
订单事实表、商品维度实时更新、买家/卖家维度设计。
电商订单
16
用户行为 · 维度建模案例
行为事件事实表、埋点标准化、Session划分与聚合。
用户行为Session
17
物流追踪 · 维度建模案例
物流状态事实表、包裹维度表、实时轨迹计算。
物流轨迹
18
金融风控 · 维度建模案例
交易事实表、用户画像维度、实时规则引擎与特征计算。
风控特征
19
广告投放 · 维度建模案例
曝光/点击事实表、广告主维度表、实时归因分析。
广告归因
20
物联网(IoT) · 维度建模案例
设备上报事实表、元数据维度表、实时异常检测。
IoT异常检测
21
社交网络 · 维度建模案例
用户动态事实表、好友关系维度、实时推荐特征。
社交推荐
22
游戏运营 · 维度建模案例
登录/付费事实表、道具维度表、实时运营指标。
游戏运营
23
内容平台 · 维度建模案例
阅读/互动事实表、内容标签维度、实时热点发现。
内容热点
24
在线教育 · 维度建模案例
学习行为事实表、课程/讲师维度、实时学习进度跟踪。
教育进度
25
医疗健康 · 维度建模案例
患者就诊事实表、医生/科室维度、实时疫情监控。
医疗疫情
26
智能交通 · 维度建模案例
车辆轨迹事实表、路况维度表、实时拥堵预测。
交通预测
27
能源管理 · 维度建模案例
设备能耗事实表、电价维度表、实时负荷预测。
能源负荷
28
供应链管理 · 维度建模案例
库存变动事实表、仓库/商品维度、实时库存预警。
供应链预警
29
实时数仓性能优化
Flink算子链与资源调优、数据倾斜处理、Join优化策略。
性能调优
30
实时数仓未来趋势
流式数仓(Streaming Warehouse)、Data Lakehouse与实时融合、AI驱动决策。
趋势AI