VIP20

本课程属于：025-实时特征平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

增量计算引擎选型与落地

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

增量计算概述

什么是增量计算，与全量计算的对比，核心价值与适用场景解析。

增量计算核心概念

数据变更捕获（CDC）、增量视图、增量状态管理、事件时间与处理时间。

主流增量计算引擎概览

Apache Flink、Spark Streaming、Kafka Streams、RisingWave、Materialize 全景介绍。

Flink 核心原理

流处理架构、Checkpoint与状态后端、Exactly-Once语义、Watermark机制。

Flink 增量计算实战

Flink CDC Connectors、动态表与连续查询、SQL Client与Table API 实践。

Spark Streaming 核心原理

微批处理架构、DStream与Structured Streaming、状态管理（mapGroupsWithState）。

Spark Streaming 增量计算实战

Spark Structured Streaming + Kafka、流-流Join、流-维表Join 案例。

Kafka Streams 核心原理

KStream与KTable、状态存储与交互式查询、处理器API 详解。

Kafka Streams 增量计算实战

WordCount案例、流表Join、Kafka Streams DSL 实战演练。

RisingWave 核心原理

云原生流数据库、物化视图与持续聚合、存算分离架构。

RisingWave云原生

RisingWave 增量计算实战

创建Source与Sink、物化视图定义、与Kafka/Flink 集成。

RisingWave集成

Materialize 核心原理

增量物化视图、TAIL命令、与PostgreSQL协议兼容。

Materialize 增量计算实战

实时仪表盘构建、CDC接入、与dbt 集成实践。

引擎对比分析（上）

架构对比（流原生 vs 微批）、延迟对比、吞吐量对比。

引擎对比分析（下）

状态管理对比、生态集成对比、运维复杂度对比。

选型方法论

需求分析框架（延迟、吞吐、一致性、状态规模）、技术债评估、团队能力匹配。

方法论评估

场景化选型（一）

实时ETL场景选型：Flink vs Spark vs Kafka Streams。

场景化选型（二）

实时数仓场景选型：RisingWave vs Materialize vs Flink + Hudi。

场景化选型（三）

事件驱动微服务场景选型：Kafka Streams vs Flink。

微服务选型

场景化选型（四）

实时仪表盘与监控场景选型：Materialize vs RisingWave。

仪表盘选型

落地架构设计

Lambda架构与Kappa架构、流批一体架构、数据分层设计（ODS/DWD/DWS/ADS）。

数据源接入实践

MySQL Binlog CDC（Debezium）、Kafka接入、文件系统接入（S3/HDFS）。

状态后端选型与调优

RocksDB vs Heap、状态TTL配置、状态大小监控。

容错与一致性保障

Checkpoint/Savepoint机制、端到端Exactly-Once、死信队列处理。

容错一致性

性能调优实战

并行度设置、算子链优化、反压处理、数据倾斜解决。

监控与运维

Prometheus + Grafana监控体系、日志采集与告警、作业升级与回滚。

测试与质量保障

单元测试（TestHarness）、集成测试（MiniCluster）、混沌工程。

案例实战（一）

基于Flink CDC的实时数据同步平台完整案例。

案例实战（二）

基于RisingWave的实时用户画像系统完整案例。

案例RisingWave

课程总结与展望

增量计算未来趋势（流式湖仓、AI与增量计算）、学习路径推荐。