VIP20

本课程属于：042-数据治理运营 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据治理中的增量计算与链路管理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

增量计算概述

什么是增量计算、全量计算 vs 增量计算、增量计算的应用场景（实时数仓、流处理、CDC）。

核心概念与原理

不可变数据与事件溯源、状态与状态快照、增量处理与幂等性、水印与乱序处理。

技术选型与架构

Lambda架构、Kappa架构、流批一体架构、主流框架对比（Flink vs Spark Streaming vs Kafka Streams）。

环境搭建与工具链

Docker Compose搭建开发环境、Kafka集群部署、Flink Standalone模式部署、MinIO对象存储。

数据源与采集

MySQL Binlog监听（Canal/Debezium）、日志采集（Filebeat/Fluentd）、API数据拉取（HTTP Polling）。

Kafka核心操作

Topic管理、生产者与消费者API、消息序列化（Avro/Protobuf）、分区策略与消费者组。

Flink基础编程

DataStream API入门、Source/Sink定义、Transformation算子（map/filter/flatMap）、执行环境配置。

Flink时间语义

Event Time、Processing Time、Ingestion Time、Timestamp分配与Watermark生成。

时间Watermark

Flink状态管理

Keyed State与Operator State、状态后端（Memory/Filesystem/RocksDB）、状态TTL与容错。

Flink窗口计算

Tumbling Window、Sliding Window、Session Window、窗口函数与触发器。

窗口触发器

Flink精确一次语义

Checkpoint机制、Savepoint与状态恢复、端到端精确一次（Two-Phase Commit）。

精确一次Checkpoint

Flink Table & SQL

动态表概念、连续查询、Flink SQL DDL与DML、维表Join。

Kafka Streams入门

Streams DSL、KTable与KStream、状态存储与交互式查询。

Kafka StreamsDSL

Source Connector与Sink Connector、单机与分布式模式、REST API管理。

CDC实战（上）

Debezium部署、MySQL连接器配置、快照模式与增量快照、Schema变更处理。

CDC实战（下）

Debezium与Kafka Connect集成、Debezium Server、PostgreSQL/MongoDB连接器。

集成多数据库

数据清洗与过滤、字段映射与类型转换、多流Join（Interval Join/Regular Join）、数据打宽。

实时聚合与指标计算

PV/UV统计、滑动窗口聚合、TopN计算、复杂事件处理（CEP）入门。

数据湖与增量写入

Apache Hudi/Iceberg/Delta Lake核心概念、Copy-on-Write vs Merge-on-Read、增量查询。

Flink与Hudi集成

Flink Hudi Connector、流式写入Hudi、增量拉取Hudi数据、Compaction管理。

集成Compaction

实时数仓分层

ODS/DWD/DWS/ADS设计、分层建模原则、数据一致性保障。

维度建模在实时场景

缓慢变化维（SCD Type 1/2）、维表缓存策略（LRU/全量）、异步维表Join。

维度建模SCD

监控与告警

Flink Metrics与监控（Prometheus + Grafana）、Kafka Lag监控、任务重启策略与告警。

性能调优（上）

并行度设置、算子链与资源分配、反压检测与处理、数据倾斜解决方案。

性能调优（下）

序列化优化（Kryo/Pojo）、状态大小优化、Checkpoint调优、网络缓冲区调优。

序列化Checkpoint

数据质量保障

数据校验与断言、异常数据隔离、重试机制与死信队列、数据血缘追踪（Atlas/DataHub）。

安全与权限

Kafka SSL/SASL认证、Flink安全配置、数据脱敏与加密、审计日志。

GitOps工作流、Flink作业打包与镜像、Kubernetes部署Flink、滚动升级与版本管理。

综合案例一：实时用户行为分析系统

埋点采集 -> Kafka -> Flink -> ClickHouse -> 大屏展示。

案例用户行为

综合案例二：实时数据同步平台

MySQL CDC -> Kafka -> Flink -> Hudi -> Hive/Spark分析。

案例数据同步