VIP20

本课程属于：018-CDC实时同步 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

从数据库到Lakehouse的实时管道

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据管道概述

从传统ETL到实时流处理，数据架构的演进之路。

Lakehouse架构解析

数据湖与数据仓库的融合，Delta Lake与Apache Iceberg核心概念。

实时数据源接入

MySQL Binlog、PostgreSQL WAL、Kafka消息队列的原理与配置。

CDC技术深度剖析

Debezium、Canal、Maxwell等工具的对比与选型。

Apache Kafka核心

Topic、Partition、Consumer Group、消息可靠性保证。

Partition可靠性

Kafka Connect实战

Source Connector与Sink Connector的配置与调优。

Connector调优

流处理引擎选型

Apache Flink vs Spark Streaming vs Kafka Streams。

Apache Flink基础

DataStream API、时间语义、Watermark机制。

Watermark时间语义

Flink CDC连接器

实时捕获MySQL变更数据写入Kafka。

状态管理与容错

Flink Checkpoint、Savepoint、Exactly-Once语义。

CheckpointExactly-Once

实时数据清洗与转换

Flink SQL与Table API实战。

Flink SQLTable API

数据写入Lakehouse

Flink写入Delta Lake/Iceberg表。

Delta LakeIceberg

Delta Lake核心特性

ACID事务、Schema Evolution、Time Travel。

ACIDTime Travel

Apache Iceberg核心特性

分区演进、隐藏分区、文件格式优化。

分区演进隐藏分区

实时数仓分层设计

ODS、DWD、DWS、ADS在Lakehouse中的实践。

数据质量监控

实时数据校验、异常检测、告警机制。

Schema Registry

Avro/Protobuf序列化与兼容性管理。

Kafka分区策略、Flink并行度、文件合并策略。

并行度合并

数据回溯与重放

从Lakehouse历史版本恢复实时管道。

回溯Time Travel

多源数据融合

实时Join多个数据库表，处理延迟数据。

实时指标计算

窗口聚合、TopN、去重计数在Flink中的实现。

数据湖表优化

Compaction、Z-Order、Bloom Filter索引。

CompactionZ-Order

安全与权限

数据脱敏、列级权限、审计日志。

监控与运维

Prometheus + Grafana监控管道健康状态。

PrometheusGrafana

CI/CD for Data Pipeline

自动化测试、部署与回滚。

云原生部署

Kubernetes上运行Flink与Kafka。

冷热数据分层、按需扩缩容、Spot实例使用。

冷热分层Spot

案例实战：电商订单实时数仓

从MySQL到Lakehouse全流程。

案例实战：用户行为日志分析

实时分析管道搭建。

行为日志实时分析

流批一体、数据网格、AI驱动的数据管道。

流批一体数据网格