第1章
OLAP与增量计算概述
OLAP基本概念、增量计算的定义与价值、全量计算 vs 增量计算对比、适用场景分析。
基础概念
第2章
增量计算核心原理
增量数据识别机制、变更数据捕获(CDC)原理、增量与全量数据合并策略、时间戳与版本号管理。
原理CDC
第3章
增量ETL架构设计
Lambda架构详解、Kappa架构详解、流批一体架构、增量ETL管道设计模式。
架构ETL
第4章
增量数据源接入
MySQL Binlog解析与接入、Kafka消息队列接入、日志文件增量采集、API增量拉取策略。
数据源接入
第5章
增量数据存储设计
增量表 vs 全量表设计、拉链表实现原理、分区表与分桶表、列式存储优化。
存储建模
第6章
增量计算引擎选型
Apache Spark Structured Streaming、Apache Flink、ClickHouse增量合并、Doris/StarRocks主键模型。
引擎选型
第7章
Spark Structured Streaming增量实践
Streaming DataFrame/Dataset、Watermark机制、状态管理、输出模式详解。
Spark流处理
第8章
Flink CDC实时增量同步
Flink CDC Connector、动态表概念、Changelog Stream、Exactly-Once语义保证。
FlinkCDC
第9章
ClickHouse增量合并策略
ReplacingMergeTree引擎、CollapsingMergeTree引擎、VersionedCollapsingMergeTree、物化视图增量更新。
ClickHouse合并树
第10章
Doris/StarRocks主键模型与增量更新
Unique Key模型、Partial Update、Flink-Doris Connector、Stream Load增量导入。
DorisStarRocks
第11章
增量数据质量保障
数据一致性校验、去重策略设计、延迟数据处理、异常数据恢复机制。
质量保障
第12章
增量计算中的时间语义
事件时间(Event Time)、处理时间(Processing Time)、摄入时间(Ingestion Time)、乱序数据处理。
时间语义
第13章
增量窗口计算
滚动窗口(Tumbling Window)、滑动窗口(Sliding Window)、会话窗口(Session Window)、累计窗口(Cumulative Window)。
窗口计算
第14章
增量聚合计算
增量Count/Distinct Count、HyperLogLog近似计算、Bitmap精确去重、TopN增量计算。
聚合去重
第15章
增量Join实现
维表增量Join、流-流Join、流-批Join、Lookup Join优化。
Join关联
第16章
增量计算中的状态管理
状态后端选择(RocksDB/Heap)、状态TTL配置、状态大小监控、Checkpoint与Savepoint。
状态管理
第17章
增量数据回溯与修复
数据回溯策略、全量重算机制、增量补偿计算、数据订正流程。
回溯修复
第18章
增量计算性能优化
并行度调优、数据倾斜处理、内存优化、网络与IO瓶颈分析。
性能优化
第19章
增量计算监控与告警
延迟监控、吞吐量监控、数据质量监控、任务健康度告警。
监控告警
第20章
增量计算在实时数仓中的应用
实时ODS层构建、实时DWD层明细、实时DWS层汇总、实时ADS层应用。
数仓实时
第21章
增量计算在用户画像场景
实时标签计算、用户行为序列、实时人群圈选、增量特征更新。
画像标签
第22章
增量计算在广告归因场景
多渠道归因模型、实时点击转化、曝光-点击-转化链路、归因窗口计算。
广告归因
第23章
增量计算在金融风控场景
实时交易监控、反欺诈规则引擎、增量特征计算、实时评分卡。
风控金融
第24章
增量计算在IoT物联网场景
设备数据实时采集、时序数据增量聚合、异常检测、设备状态增量更新。
IoT时序
第25章
增量计算在电商大促场景
实时GMV计算、库存增量扣减、实时排行榜、秒杀活动监控。
电商大促
第26章
增量计算与数据湖集成
Apache Iceberg增量读取、Delta Lake Change Data Feed、Hudi增量查询、湖仓一体增量方案。
数据湖Iceberg
第27章
增量计算与数据治理
血缘关系增量追踪、元数据增量同步、数据生命周期管理、成本优化。
治理血缘
第28章
增量计算最佳实践
设计模式总结、常见坑点与解决方案、生产环境部署建议、团队协作规范。
实践总结
第29章
增量计算案例实战(一)
从0到1搭建实时用户行为分析平台，涵盖埋点采集、实时ETL、OLAP查询。
实战用户行为
第30章
增量计算案例实战(二)
构建实时订单数据仓库，涵盖订单变更捕获、实时聚合、大屏展示。
实战订单