VIP20

本课程属于：009-实时OLAP分析 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

OLAP预聚合模型开发与实时数据维护

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

预聚合模型概述

什么是预聚合、为什么需要预聚合、OLAP·实时数仓·BI报表等典型场景。

核心概念与术语

度量、维度、粒度、聚合表、物化视图——预聚合的基石。

预聚合 vs 传统查询

全表扫描代价、预计算 vs 实时计算、空间换时间的核心思想。

预聚合模型设计原则

高基数维度处理、低基数优先、常用查询覆盖、数据倾斜规避。

常见预聚合策略

上卷、下钻、切片、切块、星型与雪花模型中的预聚合。

物化视图技术

物化视图定义、PostgreSQL/ClickHouse语法、全量/增量/实时刷新。

物化视图刷新

OLAP Cube 与多维分析

Cube定义、CUBE/ROLLUP操作、多维聚合的存储膨胀问题。

预聚合在ClickHouse中的实现

MergeTree、AggregatingMergeTree、物化视图+聚合组合拳。

ClickHouseMergeTree

预聚合在Doris/StarRocks中的实现

聚合模型、Replace/Sum/Max/Min、分区与分桶。

预聚合在Apache Druid中的实现

Segment、时间戳分区、Roll-up与维度压缩、Druid预聚合优势。

预聚合在Spark SQL中的实现

DataFrame groupBy+agg、Delta Lake/Iceberg物化视图、增量聚合。

预聚合在Flink SQL中的实现

Retract/Upsert模式、Mini-batch聚合、Top-N与窗口预计算。

预聚合模型设计流程

需求分析→维度建模→聚合表设计→存储与刷新策略。

维度建模与预聚合

星型模型事实表与维度表、雪花模型挑战、宽表 vs 预聚合表取舍。

维度建模宽表

高基数维度处理策略

布隆过滤器、HyperLogLog、Bitmap去重、近似与预聚合结合。

高基数去重

预聚合的存储优化

列式存储、LZ4/ZSTD压缩、Delta/字典/RLE编码、分区裁剪。

预聚合的查询路由

查询改写、计划优化、自动匹配预聚合表（Doris物化视图匹配）。

预聚合的增量更新

Lambda/Kappa架构中的预聚合、流批一体增量聚合。

预聚合的实时性权衡

T+1 vs 近实时 vs 实时预聚合、延迟与准确性平衡。

实时性权衡

预聚合的监控与调优

聚合表命中率、查询延迟、存储膨胀率、刷新延迟告警。

预聚合的常见陷阱

过度预聚合存储爆炸、维度组合爆炸、数据一致性、刷新失败。

预聚合与数据湖

Delta Lake OPTIMIZE/Z-Order、Iceberg Snapshot、Hudi Clustering。

广告实时分析中的应用

曝光/点击/转化预聚合、用户画像维度预计算、千亿级秒级响应。

电商大促看板中的应用

GMV/UV/PV预聚合、多维度下钻、实时刷新策略。

IoT时序数据中的应用

设备指标均值/最大/最小预聚合、时间窗口预计算、降采样。

金融风控中的应用

交易流水预聚合、用户行为特征预计算、实时规则引擎查询。

日志分析中的应用

ELK预聚合、日志级别/服务名/时间范围预计算、聚合加速。

预聚合的自动化工具

Calcite物化视图推荐、Doris自动匹配、ClickHouse Optimize。

自动化工具

预聚合的未来趋势

Serverless预聚合、AI驱动推荐、实时物化视图、云原生引擎。

趋势云原生

综合实战：电商实时大屏

从需求分析、维度建模、聚合表设计、刷新策略到查询验证全流程。