VIP20

本课程属于：009-实时OLAP分析 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时OLAP数据建模与指标计算项目

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实时OLAP概述

实时OLAP定义、与传统OLAP的差异，以及Lambda与Kappa架构的演进对比。

ClickHouse核心原理

列式存储、向量化执行、MergeTree引擎家族及分区排序键设计精髓。

列存MergeTree

Doris核心原理

MPP架构、物化视图、Rollup表与Bucket分桶策略详解。

StarRocks核心原理

CBO优化器、Pipeline执行引擎、主键模型与更新模型深度解析。

实时数据接入

Kafka实时管道、Flink CDC及Exactly-Once语义保证实践。

数据建模基础

星型、雪花、宽表模型在OLAP场景中的选型与对比。

维度建模实战

缓慢变化维SCD Type 1/2/3在实时场景下的处理策略。

事实表设计

事务事实表、周期快照事实表、累积快照事实表的设计方法。

事实表快照

实时ETL设计

轻量转换、字段裁剪与数据质量校验在实时链路中的落地。

ClickHouse表引擎选型

MergeTree、ReplacingMergeTree、SummingMergeTree、AggregatingMergeTree对比。

引擎MergeTree

ClickHouse数据分区策略

按时间/业务ID分区、分区数量控制与性能平衡。

ClickHouse排序键优化

低基数优先、过滤匹配、Order By与Group By性能调优。

排序键优化

ClickHouse物化视图

物化视图原理、增量聚合及与普通表的差异。

物化视图聚合

Doris数据模型

Duplicate、Aggregate、Unique三种模型的适用场景。

数据模型Doris

Doris分区分桶

Range/List/动态分区、分桶数计算与最佳实践。

Doris Rollup与物化视图

Rollup匹配机制、物化视图自动刷新与查询加速。

Rollup物化视图

StarRocks主键模型

主键去重、更新操作及与Doris Unique模型的对比。

StarRocks物化视图

异步物化视图、查询改写与刷新策略详解。

实时数据一致性

幂等写入、去重策略与数据回溯机制保障。

一致性幂等

查询性能调优

索引使用、预聚合、数据倾斜处理与加速技巧。

Broadcast Join、Shuffle Join、Colocate Join适用场景。

内存限制、查询超时与资源组隔离策略。

实时大屏场景建模

秒级刷新、预计算与结果表设计实战。

大屏预计算

用户画像实时分析

标签宽表、位图计算与人群圈选技术。

实时指标计算

PV/UV、留存率、漏斗分析建模与实现。

数据压缩与存储

列式压缩算法、编码方式与TTL策略。

实时数据湖集成

Iceberg/Hudi实时入湖与OLAP查询湖数据。

数据湖Iceberg

监控与运维

查询日志分析、慢查询优化与集群扩缩容。

实战案例一：电商实时GMV大屏

基于ClickHouse + Kafka + Flink构建电商GMV大屏。

实战案例二：金融实时风控指标

StarRocks + Flink CDC + 维表关联实现金融风控。