VIP20

本课程属于：044-实时数仓建设 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时数仓增量计算引擎选型与调优

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

增量计算概述

什么是增量计算、为什么需要增量计算、增量计算 vs 全量计算、典型应用场景。

核心概念与原理

增量计算的核心思想、数据变更捕获(CDC)、增量计算模型、状态管理与容错。

主流引擎概览

Spark Structured Streaming、Flink、Kafka Streams、Doris/ClickHouse 物化视图、Dinky/MaxCompute 增量通道。

选型方法论

选型维度(延迟、吞吐、状态大小、生态)、场景匹配矩阵、成本评估、技术债务分析。

Spark Structured Streaming 深度解析

微批处理模型、Input/Output 模式、Watermark 机制、状态管理、性能调优参数。

Flink 深度解析

事件驱动模型、Checkpoint/Savepoint、状态后端(RocksDB/Heap)、Operator Chain、反压机制。

Kafka Streams 深度解析

KTable/KStream 概念、Exactly-Once 语义、状态存储、分区与并行度。

KafkaExactly-Once

物化视图与实时 OLAP

ClickHouse 物化视图、Doris 聚合模型、StarRocks 主键模型、增量更新策略。

OLAP物化视图

CDC 技术选型

Debezium、Canal、Maxwell、Flink CDC、DataX 增量同步。

数据一致性语义

At-Least-Once、Exactly-Once、端到端一致性、两阶段提交、幂等写入。

一致性语义

状态管理与调优

状态大小控制、TTL 配置、RocksDB 调优、增量 Checkpoint、状态后端选择。

反压与背压处理

反压产生原因、Flink 反压监控、Spark 反压机制、Kafka Streams 背压、调优策略。

窗口与 Watermark

滚动窗口、滑动窗口、会话窗口、Watermark 生成策略、延迟数据处理。

窗口Watermark

Join 操作优化

Stream-Stream Join、Stream-Table Join、维表 Join、Join 状态清理、优化技巧。

资源调度与并行度

动态资源分配、并行度设置原则、Task 调度优化、Slot 管理。

资源并行度

堆内/堆外内存、Flink 内存模型、Spark 内存模型、OOM 排查、GC 调优。

网络与序列化

Kryo 序列化、Avro/Protobuf、网络缓冲区调优、连接复用。

序列化网络

监控与告警

Metrics 体系、Prometheus + Grafana 集成、作业级监控、自定义 Reporter。

故障恢复与高可用

Checkpoint 恢复、Savepoint 迁移、主备切换、多集群容灾。

高可用容灾

生产环境部署

Kubernetes 部署、YARN 部署、Standalone 部署、配置最佳实践。

性能基准测试

测试方法论、TPC-H/TPC-DS 适配、自定义压测工具、结果分析。

基准测试TPC

常见性能瓶颈

数据倾斜、热点 Key、小文件问题、序列化开销、频繁 GC。

数据倾斜解决方案

KeyBy 优化、Salting 技术、自定义分区器、倾斜检测。

小文件合并策略

Layering 合并、Compaction 策略、Hudi/Iceberg 增量合并、Flink 小文件控制。

小文件Compaction

增量计算与数据湖

Apache Hudi、Apache Iceberg、Delta Lake 增量查询、Merge-On-Read 与 Copy-On-Write。

Lambda 架构与 Kappa 架构

架构对比、增量层设计、批流一体实践、架构演进。

实时数仓建设

分层设计(ODS/DWD/DWS/ADS)、增量 ETL、维度表实时更新、指标一致性。

案例实战一：实时用户画像系统

需求分析、技术选型、架构设计、性能调优、效果评估。

案例实战二：实时风控系统

高吞吐低延迟挑战、规则引擎集成、状态管理、容错设计。

未来趋势与总结

增量计算发展方向、Serverless 化、AI 辅助调优、课程总结与学习路径。