VIP20

本课程属于：027-数据仓库建模 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时指标建模与数仓落地

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

指标的本质

什么是实时指标？为什么需要实时？从业务视角看指标的价值。

业务认知价值驱动

如何与业务方沟通，明确指标定义、口径、维度与粒度。

需求分析沟通方法

实时计算引擎对比（Flink vs Spark Streaming vs Kafka Streams），选型决策树。

架构决策引擎对比

日志采集（Filebeat/Flume）、消息队列（Kafka）的选型与配置。

数据管道Kafka

实时数仓分层（ODS/DWD/DWS/ADS），宽表设计与维度建模。

数仓设计维度建模

Flink架构、运行模式、DataStream API入门。

Flink时间语义

Event Time、Processing Time、Ingestion Time，水位线（Watermark）机制。

时间语义Watermark

Flink状态管理

Keyed State与Operator State，状态后端（RocksDB/FS）的选择。

状态后端RocksDB

Flink容错机制

Checkpoint与Savepoint，Exactly-Once语义的实现。

容错Exactly-Once

动态表、连续查询、窗口聚合（Tumble/Hop/Cumulate）。

Flink SQL窗口聚合

PV/UV、去重计数（HyperLogLog）、滑动窗口聚合实战。

指标计算HyperLogLog

复杂事件处理（CEP）

模式定义、事件序列匹配、超时处理。

CEP模式匹配

Sink选型（Kafka/Redis/MySQL/ClickHouse），幂等写入与事务写入。

Sink幂等写入

实时数仓DWD层

数据清洗、字段补全、维度关联（Async IO）。

DWD维度关联

实时数仓DWS层

轻度聚合，预计算指标，解决数据倾斜。

实时数仓ADS层

指标服务化，OLAP引擎（ClickHouse/Doris）的查询优化。

Redis（Hash/Sorted Set）存储实时聚合结果，TTL策略。

指标查询API

设计RESTful接口，缓存策略（本地缓存+分布式缓存）。

API设计缓存

数据质量监控

实时数据漂移检测、延迟监控、异常值告警。

质量监控告警

全链路延迟优化

从采集到展示，逐环节分析瓶颈（序列化、网络、GC）。

性能优化延迟

Flink并行度设置、内存配置、Kafka分区数设计。

资源调优并行度

稳定性建设

反压机制、任务自动重启、优雅降级。

稳定性反压

灰度发布与回滚

实时任务如何平滑升级，版本管理。

灰度发布回滚

指标可视化

Grafana图表配置，实时大屏设计原则。

可视化Grafana

基于指标的告警规则（阈值/趋势/同比），告警通知渠道。

A/B测试指标

实时分流、实验组/对照组指标对比。

A/B测试分流

多租户与权限

指标资源隔离，数据权限控制。

多租户权限

实时计算资源预估，Spot实例使用，数据压缩。

案例实战（一）

电商实时GMV大屏，从需求到上线全流程。

案例实战（二）

直播实时在线人数与互动指标，高并发场景下的架构设计。

实战高并发