01
预聚合技术概述
什么是预聚合、为什么需要预聚合、典型应用场景：OLAP、实时数仓、监控系统。
概念场景
02
核心原理与数据模型
空间换时间思想、星型与雪花模型、预聚合表的粒度设计。
模型粒度
03
预聚合策略分类
全量/增量/分层预聚合，分钟级/小时级/天级，基于时间窗口的预聚合。
策略分层
04
预聚合的实现方式
物化视图、离线批处理、流式计算 (Flink/Spark Streaming)。
物化视图流批
05
存储与查询优化
列式存储 (Parquet/ORC)、Bitmap/Min-Max 索引、数据分片与分区裁剪。
索引列存
06
更新与一致性
数据延迟、幂等性设计、增量/全量重建、Exactly-Once 语义。
一致性幂等
07
代价与权衡
存储成本、预计算延迟、查询灵活度下降，实时性与准确性平衡。
成本权衡
08
OLAP 引擎实践
ClickHouse AggregatingMergeTree、Doris Rollup、StarRocks 异步物化视图。
ClickHouseDoris
09
实时数仓实践
Flink MiniBatch/LocalGlobal、Kafka Streams 聚合状态、Druid Segment 预聚合。
FlinkDruid
10
监控与指标系统
Prometheus Recording Rules、Grafana 查询缓存、OpenTSDB 预聚合表。
监控Prometheus
11
查询路由与改写
Presto/Trino 物化视图匹配、基于代价的路由、透明预聚合。
路由改写
12
元数据管理
生命周期管理、版本控制、元数据同步与一致性校验。
元数据版本
13
监控与调优
命中率监控、预计算延迟、存储膨胀率、查询延迟对比分析。
监控调优
14
自动化与智能化
基于查询历史自动推荐、自适应策略、机器学习驱动优化。
自动化ML
15
分布式挑战
数据倾斜、跨节点聚合开销、全局与局部预聚合协调。
分布式倾斜
16
与缓存技术对比
预聚合 vs 结果缓存/页面缓存/数据库查询缓存，适用场景与优劣。
缓存对比
17
Lambda 架构应用
批处理层预聚合、速度层预聚合、服务层合并查询结果。
Lambda架构
18
Kappa 架构应用
流式预聚合替代批处理、状态后端 (RocksDB/内存)、Checkpoint 容错。
Kappa状态后端
19
数据湖实践
Apache Iceberg 预聚合表、Delta Lake 优化、Hudi 预聚合索引。
数据湖Iceberg
20
SQL 优化技巧
GROUP BY 优化、窗口函数预聚合、近似聚合 (HyperLogLog/Count-Min Sketch)。
SQL近似
21
代码实现 (一)
Python Pandas 离线预聚合、PySpark 分布式预聚合示例。
PandasPySpark
22
代码实现 (二)
Flink SQL 实时预聚合、Kafka Streams DSL 预聚合示例。
Flink SQLKafka
23
代码实现 (三)
ClickHouse 物化视图、Doris Rollup 预聚合示例。
ClickHouseDoris
24
测试与验证
正确性验证、性能基准测试 (Benchmark)、回归测试策略。
测试基准
25
常见陷阱与避坑
数据倾斜导致失败、过期数据存储爆炸、粒度不当查询慢。
陷阱避坑
26
行业案例 (一)
电商大促实时大屏 (双11/618)、广告实时归因系统预聚合设计。
电商大屏
27
行业案例 (二)
金融风控实时指标、IoT 百万级数据点预聚合处理。
金融IoT
28
未来趋势
Serverless 预聚合、云原生服务、AI 驱动自适应引擎。
趋势Serverless
29
选型指南
业务场景选型、技术对比表 (功能/性能/成本)。
选型对比
30
课程总结与实战项目
综合实战：秒级查询实时用户行为分析系统，涵盖预聚合全流程设计。
实战项目